Les erreurs de Reinhart et Rogoff

Tous ont sûrement entendu parler de l’erreur de codage sur Excel des économistes Carmen Reinhart et Kenneth Rogoff dans une étude (Growth in a Time of Debt ou La croissance en période de dette) qui démontrait supposément qu’un ratio de la dette sur le PIB de plus de 90 % entraîne une chute du taux de croissance du PIB. Résumé brièvement, cette étude a été utilisée aussi bien par les partisans européens de l’austérité que par les républicains des États-Unis pour donner un vernis scientifique aux politiques d’austérité. Si l’erreur dite de codage fut la plus médiatisée, d’autres articles parlaient de plusieurs erreurs :

«D’autant que le trio d’économistes de l’Université du Massachusetts qui s’est penché sur l’étude de Rogoff-Reinhart a découvert que ces derniers avaient omis certaines données, et d’une. Et de deux, ils ont fait une consommation « particulière » de mécanismes statistiques. Et de trois, ils ont mal utilisé le logiciel… Excel !»

Mais nulle part je n’ai pu lire en quoi consistaient précisément ces erreurs. Alors, aussi bien aller aux sources! Pour en avoir le cœur net, j’ai donc décidé de lire l’étude de ce fameux «trio d’économistes», soit Thomas Herndon, Michael Ash et Robert Pollin, intitulée Does High Public Debt Consistently Stifle Growth? A Critique of Reinhart and Rogoff (Est-ce qu’une dette publique élevée étouffe toujours la croissance? Une critique de Reinhart et Rogoff).

L’étude de Reinhart et Rogoff

La partie de l’étude de Reinhart et Rogoff qui a été la plus discutée est relativement simple. Il s’agissait seulement d’associer des taux de croissance annuels réels (après inflation) de vingt pays industrialisés à quatre catégories de ratios de la dette sur le PIB entre 1946 et 2009 :

• moins de 30 %
• entre 30 % et 60 %
• entre 60 % et 90 %
• plus de 90 %

Le tableau qui suit montre les résultats que Reinhart et Rogoff ont publié :

On voit clairement sur ce tableau la chute du taux de croissance qui devient même négatif quand le ratio de la dette sur le PIB est supérieur à 90 %. Mais, cela, c’était avant qu’on ne trouve les erreurs qu’ils ont faites…

Quatre erreurs!

En fait, cette étude relativement simple (j’insiste!) contient quatre erreurs. Une d’entre elle est presque sans conséquence (ils ont transcrit -7,9 % au lieu de -7,6 % pour une des données utilisées), mais les trois autres ont davantage influencé les résultats.

– Données manquantes et omises

En fait, l’étude de Reinhart et Rogoff n’a pu utiliser les données que de neuf des 20 pays à partir de 1946. Dans la plupart des cas, ces données n’étaient pas disponibles. Par contre, ils ont omis 14 données disponibles de l’Australie, du Canada (de 1946 à 1950 pour ces deux pays) et de la Nouvelle-Zélande (de 1946 à 1949). Or, la grande majorité de ces données étaient très positives (forts taux de croissance) et étaient toutes associées à des périodes où ces pays avaient un ratio dette sur PIB supérieur à 90 %. L’ajout de ces 14 données aux 96 utilisées par Reinhart et Rogoff aurait fait augmenter la moyenne du taux de croissance annuel moyen des pays ayant un ratio de la dette sur le PIB de plus de 90 % de 0,3 point de pourcentage. C’est déjà un début…

– Erreur de codage

Cette erreur fut la plus médiatisée, mais ne fut pas expliquée… Il s’agit simplement d’une erreur de formule. En effet, plutôt que de faire la somme des lignes 30 à 49 (ce qui donnerait bien 20 pays), Reinhart et Rogoff ont plutôt additionné les lignes 30 à 44, ne tenant compte que de 15 pays. Les pays «oubliés» étaient l’Australie, l’Autriche, la Belgique, le Canada et le Danemark (on dirait que les pays étaient classés à inverse de l’ordre alphabétique…). La conséquence de cette erreur fut mineure pour les autres groupes, mais aurait fait augmenter la moyenne du taux de croissance annuel moyen des pays ayant un ratio de la dette sur le PIB de plus de 90 % d’un autre 0,3 point de pourcentage, ce qui donne une erreur cumulative de 0,6 point… jusqu’à maintenant!

– Erreur de pondération

Il s’agit de l’erreur que l’article précité du Devoir appelle pudiquement une «consommation «particulière» de mécanismes statistiques». Là est la pire erreur, enfin, celle qui a entraîné les conséquences les plus importantes. Plutôt que de faire la moyenne de tous les résultats obtenus (malgré les erreurs précédentes, il restait quand même 71 résultats sur les 110 qu’il aurait dû y avoir), Reinhart et Rogoff ont plutôt fait la moyenne des résultats moyens (oui, oui, une moyenne de résultats moyens!) des 7 seuls pays qui avaient vécus les 71 périodes avec un ratio de la dette sur le PIB de plus de 90 %. Or, une moyenne de moyenne, ce n’est pas fort, surtout quand les pays retenus ont de grandes différences dans le nombre de périodes se qualifiant (un ratio de la dette sur le PIB de plus de 90 %).

Par exemple, ils ont accordé le même poids à la croissance réelle du PIB de leur seule observation sur la Nouvelle-Zélande (-7,6 %, qu’ils ont en plus calculée comme -7,9 %, l’erreur de transcription dont j’ai parlé plus tôt) qu’aux 19 résultats du Royaume-Uni qui donnaient une moyenne de moyenne de +2,4 %! Pour montrer l’ampleur de cette erreur, la moyenne de croissance de ces deux pays telle que calculée avec la méthode de Reinhart et Rogoff donnerait -2,75 %, tandis que la moyenne des 20 observations qu’elle contiennent vraiment donne en fait +1,89 %!

Mais, encore pire, s’ils avaient tenu compte de tous les résultats de la Nouvelle-Zélande dans une situation de ratio de la dette sur le PIB de plus de 90 % (4 autres, dont trois très positifs, soit 7,7 %, 11,9 %, -9,9 % et 10,8 %), cela leur aurait donné pour la Nouvelle-Zélande une moyenne de 2,6 % au lieu de -7,9 %! Bref, cette erreur de pondération (sans tenir compte des données omises) a fait diminuer la moyenne du taux de croissance annuel moyen des pays ayant un ratio de la dette sur le PIB de plus de 90 % d’un autre 1,7 point de pourcentage, portant l’erreur totale à 2,3 points. Là, c’est énorme comme on peut le voir dans le tableau qui suit :

On peut voir que les quatre erreurs de Reinhart et Rogoff ont eu très peu d’impact sur le taux de croissance réel moyen des pays ayant eu un ratio de la dette sur le PIB de moins de 30 %, un peu plus sur celui des pays ayant eu un ratio de la dette sur le PIB entre 30 % et 60 % et entre 60 % et 90 %, mais un impact majeur sur celui des pays ayant eu un ratio de la dette sur le PIB supérieur à 90 %. Avec ces résultats, on n’observe finalement aucune chute vertigineuse lorsqu’un pays a une dette supérieure à 90 % de son PIB.

Autres éléments contenus dans l’étude correctrice

L’étude a aussi testé bien d’autres choses, en séparant par exemple la catégorie «plus de 90 %» en deux catégories, «entre 90 % et 120 %» et «plus de 120 %». Cela leur a donné des résultats de respectivement 2,4 % et 1,6 %. Encore là, pas d’effondrement, même pas à 120 % et plus! Ils expliquent aussi que les résultats varient énormément dans le temps, montrant que la croissance moyenne des pays ayant eu un ratio de la dette sur le PIB supérieur à 90 % durant les années 2000 fut plus élevée (1,7 %) que celle des pays ayant eu un ratio entre 60 % et 90 % (1,3 %)! Bref, il y a tant de facteurs qui peuvent influencer la hausse et la baisse du PIB, et tant d’autres, dont le niveau des taux d’intérêt, qui peuvent rendre plus ou moins dommageable un ratio de la dette sur le PIB élevé, qu’il est carrément simpliste de s’amuser à vouloir isoler l’impact d’un seul facteur par des calculs qui ne nous fournissent au bout du compte que des corrélations.

Or, comme Paul Krugman et Robin Wells (sa conjointe, également économiste) l’ont fait observer dès la sortie de cette étude (et comme Krugman l’a répété dans un texte plus récent traduit en français), les auteurs (Herndon, Ash et Pollin) précisent qu’il peut y avoir une corrélation sans qu’il y ait de causalité et que, encore pire, la causalité peut bien être l’inverse de celle qu’on pense avoir vue… Il est par exemple beaucoup plus logique de penser qu’une faible croissance soit un des facteurs qui entraîne une hausse du ratio de la dette sur le PIB (ce qui encore plus probable quand le dénominateur de l’équation dette/PIB, soit le PIB, diminue comme c’est le cas actuellement dans bien des pays européens) que l’inverse.

Ils ont aussi fait remarquer (comme Krugman d’ailleurs..) que la baisse du PIB des cinq années où les États-Unis ont eu un ratio de la dette sur le PIB plus élevé que 90 % au cours de cette période, soit de 1946 à 1950, était due à la démobilisation après la Deuxième guerre mondiale (on a par exemple retourné à la maison un grand nombre de femmes qui avaient joint le marché du travail pendant que les hommes étaient au front), pas à leur niveau élevé de la dette (niveau dû en plus aux dépenses de la guerre…). Ce ratio élevé a ensuite été réduit sans qu’un sous de la dette ne soit remboursé, grâce à la forte croissance du PIB des Trente glorieuses. Bref, aucune mesure d’austérité, bien au contraire, n’a due être prise pour ramener ce ratio à des niveaux bien plus bas.

L’étude contient aussi bien d’autres éléments intéressants, mais, j’ai abordé les principaux…

Et alors…

Que deux économistes d’une telle renommée – les deux ont été économistes au Fonds monétaire international (FMI), Rogoff même l’économiste en chef – aient pu faire de telles erreurs et publier un tel document sans vérification alors qu’ils savaient bien qu’il aurait un impact majeur ne serait-ce en raison du sujet abordé et justement de leur renommée, me renverse complètement.

Je me souviens du billet que j’ai écrit qui a été le plus lu où je remettais en cause les calculs de Luc Godbout sur les effets de la hausse des prêts et des bourses à l’époque du conflit entre le gouvernement et le mouvement étudiant. Je n’ai pas seulement vérifié mes calculs à de nombreuses reprises, mais j’ai consulté une amie mathématicienne (Koval) avant de publier pour qu’elle confirme mon raisonnement… Bon sang, l’étude de Reinhart et Rogoff portant sur un sujet drôlement plus important et brûlant d’actualité que le mien et risquant d’avoir drôlement plus d’influence (le mien n’en a eu aucune, et je ne m’attendais pas à autre chose!), on aurait pu au moins s’attendre qu’ils aient fait preuve d’autant de rigueur et aient vérifié leurs calculs! Et ils étaient deux pour se valider et se vérifier! Il ne s’agit, je le répète encore, que de calculs simples et rapides à faire. Mais non, ils ne l’ont pas fait…

Peut-être s’attendaient-ils tellement à obtenir ce genre de résultat qu’ils ont pensé que leurs calculs ne pouvaient qu’être bons? Serait-ce donc un autre exemple de biais de confirmation?