Skip to content

Les erreurs de Reinhart et Rogoff

4 mai 2013

Reinhart-RogoffTous ont sûrement entendu parler de l’erreur de codage sur Excel des économistes Carmen Reinhart et Kenneth Rogoff dans une étude (Growth in a Time of Debt ou La croissance en période de dette) qui démontrait supposément qu’un ratio de la dette sur le PIB de plus de 90 % entraîne une chute du taux de croissance du PIB. Résumé brièvement, cette étude a été utilisée aussi bien par les partisans européens de l’austérité que par les républicains des États-Unis pour donner un vernis scientifique aux politiques d’austérité. Si l’erreur dite de codage fut la plus médiatisée, d’autres articles parlaient de plusieurs erreurs :

«D’autant que le trio d’économistes de l’Université du Massachusetts qui s’est penché sur l’étude de Rogoff-Reinhart a découvert que ces derniers avaient omis certaines données, et d’une. Et de deux, ils ont fait une consommation « particulière » de mécanismes statistiques. Et de trois, ils ont mal utilisé le logiciel… Excel !»

Mais nulle part je n’ai pu lire en quoi consistaient précisément ces erreurs. Alors, aussi bien aller aux sources! Pour en avoir le cœur net, j’ai donc décidé de lire l’étude de ce fameux «trio d’économistes», soit Thomas Herndon, Michael Ash et Robert Pollin, intitulée Does High Public Debt Consistently Stifle Growth? A Critique of Reinhart and Rogoff (Est-ce qu’une dette publique élevée étouffe toujours la croissance? Une critique de Reinhart et Rogoff).

L’étude de Reinhart et Rogoff

La partie de l’étude de Reinhart et Rogoff qui a été la plus discutée est relativement simple. Il s’agissait seulement d’associer des taux de croissance annuels réels (après inflation) de vingt pays industrialisés à quatre catégories de ratios de la dette sur le PIB entre 1946 et 2009 :

  • moins de 30 %
  • entre 30 % et 60 %
  • entre 60 % et 90 %
  • plus de 90 %

Le tableau qui suit montre les résultats que Reinhart et Rogoff ont publié :

Reinhart-Rogoff1

On voit clairement sur ce tableau la chute du taux de croissance qui devient même négatif quand le ratio de la dette sur le PIB est supérieur à 90 %. Mais, cela, c’était avant qu’on ne trouve les erreurs qu’ils ont faites…

Quatre erreurs!

En fait, cette étude relativement simple (j’insiste!) contient quatre erreurs. Une d’entre elle est presque sans conséquence (ils ont transcrit -7,9 % au lieu de -7,6 % pour une des données utilisées), mais les trois autres ont davantage influencé les résultats.

– Données manquantes et omises

En fait, l’étude de Reinhart et Rogoff n’a pu utiliser les données que de neuf des 20 pays à partir de 1946. Dans la plupart des cas, ces données n’étaient pas disponibles. Par contre, ils ont omis 14 données disponibles de l’Australie, du Canada (de 1946 à 1950 pour ces deux pays) et de la Nouvelle-Zélande (de 1946 à 1949). Or, la grande majorité de ces données étaient très positives (forts taux de croissance) et étaient toutes associées à des périodes où ces pays avaient un ratio dette sur PIB supérieur à 90 %. L’ajout de ces 14 données aux 96 utilisées par Reinhart et Rogoff aurait fait augmenter la moyenne du taux de croissance annuel moyen des pays ayant un ratio de la dette sur le PIB de plus de 90 % de 0,3 point de pourcentage. C’est déjà un début…

– Erreur de codage

Cette erreur fut la plus médiatisée, mais ne fut pas expliquée… Il s’agit simplement d’une erreur de formule. En effet, plutôt que de faire la somme des lignes 30 à 49 (ce qui donnerait bien 20 pays), Reinhart et Rogoff ont plutôt additionné les lignes 30 à 44, ne tenant compte que de 15 pays. Les pays «oubliés» étaient l’Australie, l’Autriche, la Belgique, le Canada et le Danemark (on dirait que les pays étaient classés à inverse de l’ordre alphabétique…). La conséquence de cette erreur fut mineure pour les autres groupes, mais aurait fait augmenter la moyenne du taux de croissance annuel moyen des pays ayant un ratio de la dette sur le PIB de plus de 90 % d’un autre 0,3 point de pourcentage, ce qui donne une erreur cumulative de 0,6 point… jusqu’à maintenant!

– Erreur de pondération

Il s’agit de l’erreur que l’article précité du Devoir appelle pudiquement une «consommation «particulière» de mécanismes statistiques». Là est la pire erreur, enfin, celle qui a entraîné les conséquences les plus importantes. Plutôt que de faire la moyenne de tous les résultats obtenus (malgré les erreurs précédentes, il restait quand même 71 résultats sur les 110 qu’il aurait dû y avoir), Reinhart et Rogoff ont plutôt fait la moyenne des résultats moyens (oui, oui, une moyenne de résultats moyens!) des 7 seuls pays qui avaient vécus les 71 périodes avec un ratio de la dette sur le PIB de plus de 90 %. Or, une moyenne de moyenne, ce n’est pas fort, surtout quand les pays retenus ont de grandes différences dans le nombre de périodes se qualifiant (un ratio de la dette sur le PIB de plus de 90 %).

Par exemple, ils ont accordé le même poids à la croissance réelle du PIB de leur seule observation sur la Nouvelle-Zélande (-7,6 %, qu’ils ont en plus calculée comme -7,9 %, l’erreur de transcription dont j’ai parlé plus tôt) qu’aux 19 résultats du Royaume-Uni qui donnaient une moyenne de moyenne de +2,4 %! Pour montrer l’ampleur de cette erreur, la moyenne de croissance de ces deux pays telle que calculée avec la méthode de Reinhart et Rogoff donnerait -2,75 %, tandis que la moyenne des 20 observations qu’elle contiennent vraiment donne en fait +1,89 %!

Mais, encore pire, s’ils avaient tenu compte de tous les résultats de la Nouvelle-Zélande dans une situation de ratio de la dette sur le PIB de plus de 90 % (4 autres, dont trois très positifs, soit 7,7 %, 11,9 %, -9,9 % et 10,8 %), cela leur aurait donné pour la Nouvelle-Zélande une moyenne de 2,6 % au lieu de -7,9 %! Bref, cette erreur de pondération (sans tenir compte des données omises) a fait diminuer la moyenne du taux de croissance annuel moyen des pays ayant un ratio de la dette sur le PIB de plus de 90 % d’un autre 1,7 point de pourcentage, portant l’erreur totale à 2,3 points. Là, c’est énorme comme on peut le voir dans le tableau qui suit :

Reinhart-Rogoff2

On peut voir que les quatre erreurs de Reinhart et Rogoff ont eu très peu d’impact sur le taux de croissance réel moyen des pays ayant eu un ratio de la dette sur le PIB de moins de 30 %, un peu plus sur celui des pays ayant eu un ratio de la dette sur le PIB entre 30 % et 60 % et entre 60 % et 90 %, mais un impact majeur sur celui des pays ayant eu un ratio de la dette sur le PIB supérieur à 90 %. Avec ces résultats, on n’observe finalement aucune chute vertigineuse lorsqu’un pays a une dette supérieure à 90 % de son PIB.

Autres éléments contenus dans l’étude correctrice

L’étude a aussi testé bien d’autres choses, en séparant par exemple la catégorie «plus de 90 %» en deux catégories, «entre 90 % et 120 %» et «plus de 120 %». Cela leur a donné des résultats de respectivement 2,4 % et 1,6 %. Encore là, pas d’effondrement, même pas à 120 % et plus! Ils expliquent aussi que les résultats varient énormément dans le temps, montrant que la croissance moyenne des pays ayant eu un ratio de la dette sur le PIB supérieur à 90 % durant les années 2000 fut plus élevée (1,7 %) que celle des pays ayant eu un ratio entre 60 % et 90 % (1,3 %)! Bref, il y a tant de facteurs qui peuvent influencer la hausse et la baisse du PIB, et tant d’autres, dont le niveau des taux d’intérêt, qui peuvent rendre plus ou moins dommageable un ratio de la dette sur le PIB élevé, qu’il est carrément simpliste de s’amuser à vouloir isoler l’impact d’un seul facteur par des calculs qui ne nous fournissent au bout du compte que des corrélations.

Or, comme Paul Krugman et Robin Wells (sa conjointe, également économiste) l’ont fait observer dès la sortie de cette étude (et comme Krugman l’a répété dans un texte plus récent traduit en français), les auteurs (Herndon, Ash et Pollin) précisent qu’il peut y avoir une corrélation sans qu’il y ait de causalité et que, encore pire, la causalité peut bien être l’inverse de celle qu’on pense avoir vue… Il est par exemple beaucoup plus logique de penser qu’une faible croissance soit un des facteurs qui entraîne une hausse du ratio de la dette sur le PIB (ce qui encore plus probable quand le dénominateur de l’équation dette/PIB, soit le PIB, diminue comme c’est le cas actuellement dans bien des pays européens) que l’inverse.

Ils ont aussi fait remarquer (comme Krugman d’ailleurs..) que la baisse du PIB des cinq années où les États-Unis ont eu un ratio de la dette sur le PIB plus élevé que 90 % au cours de cette période, soit de 1946 à 1950, était due à la démobilisation après la Deuxième guerre mondiale (on a par exemple retourné à la maison un grand nombre de femmes qui avaient joint le marché du travail pendant que les hommes étaient au front), pas à leur niveau élevé de la dette (niveau dû en plus aux dépenses de la guerre…). Ce ratio élevé a ensuite été réduit sans qu’un sous de la dette ne soit remboursé, grâce à la forte croissance du PIB des Trente glorieuses. Bref, aucune mesure d’austérité, bien au contraire, n’a due être prise pour ramener ce ratio à des niveaux bien plus bas.

L’étude contient aussi bien d’autres éléments intéressants, mais, j’ai abordé les principaux…

Et alors…

Que deux économistes d’une telle renommée – les deux ont été économistes au Fonds monétaire international (FMI), Rogoff même l’économiste en chef – aient pu faire de telles erreurs et publier un tel document sans vérification alors qu’ils savaient bien qu’il aurait un impact majeur ne serait-ce en raison du sujet abordé et justement de leur renommée, me renverse complètement.

Je me souviens du billet que j’ai écrit qui a été le plus lu où je remettais en cause les calculs de Luc Godbout sur les effets de la hausse des prêts et des bourses à l’époque du conflit entre le gouvernement et le mouvement étudiant. Je n’ai pas seulement vérifié mes calculs à de nombreuses reprises, mais j’ai consulté une amie mathématicienne (Koval) avant de publier pour qu’elle confirme mon raisonnement… Bon sang, l’étude de Reinhart et Rogoff portant sur un sujet drôlement plus important et brûlant d’actualité que le mien et risquant d’avoir drôlement plus d’influence (le mien n’en a eu aucune, et je ne m’attendais pas à autre chose!), on aurait pu au moins s’attendre qu’ils aient fait preuve d’autant de rigueur et aient vérifié leurs calculs! Et ils étaient deux pour se valider et se vérifier! Il ne s’agit, je le répète encore, que de calculs simples et rapides à faire. Mais non, ils ne l’ont pas fait…

Peut-être s’attendaient-ils tellement à obtenir ce genre de résultat qu’ils ont pensé que leurs calculs ne pouvaient qu’être bons? Serait-ce donc un autre exemple de biais de confirmation?

Publicités
23 commentaires leave one →
  1. Mathieu Lemée permalink
    4 mai 2013 8 h 27 min

    Et maintenant que leurs erreurs sont de plus en plus étalées au grand jour, on dirait que certains de nos dirigeants ne veulent pas comprendre et continuent de garder le cap sur le déficit zéro et les mesures d’austérité. Il y a donc pire encore que des erreurs de calcul: c’est l’entêtement à vouloir préserver les faux dogmes, croyances et mythes qu’elles ont entretenu malgré tout.

    J'aime

  2. Gilbert Boileau permalink
    4 mai 2013 9 h 26 min

    Les entêtements qui conduisent, parfois, à une relecture de l’Histoire .. .On s’éloigne de la vérité. Rigueur! Rigueur! Rigueur! Merci d’en être le messager.

    J'aime

  3. barefootluc permalink
    4 mai 2013 13 h 30 min

    Comme j’ai des amis qui œuvrent en recherche et dans un milieu universitaire j’ai eu l’opportunité de lire en anglais les explications des erreurs de cette étude. Ma réaction fut similaire à la vôtre:

    Que deux économistes d’une telle renommée – les deux ont été économistes au Fonds monétaire international (FMI), Rogoff même l’économiste en chef – aient pu faire de telles erreurs et publier un tel document sans vérification alors qu’ils savaient bien qu’il aurait un impact majeur ne serait-ce en raison du sujet abordé et justement de leur renommée, me renverse complètement. [ Darwin ]

    J'aime

  4. 4 mai 2013 19 h 49 min

    @ Mathieu Lemée

    «Il y a donc pire encore que des erreurs de calcul: c’est l’entêtement à vouloir préserver les faux dogmes, croyances et mythes qu’elles ont entretenu malgré tout.»

    En fait, tu le sais, les idéologues se foutent des faits. Quand certains «faits» ou études vont dans le sens de leurs croyances, ils les citent comme preuve. Lorsque ces «faits» se révèlent faux, ils arrêtent simplement de les citer, mais n’en conservent pas moins leur conviction qu’ils ont raison. D’où ma référence au biais de confirmation, dans le fond pas seulement pour Reinhart et Rogoff, mais aussi et surtout pour les gens qui ont utilisé leur étude pour «prouver» la pertinence de leur idéologie.

    Normand Baillargeon a d’ailleurs écrit un très bon texte sur le sujet, si ce n’est une petite partie que j’ai contestée en commentaires et qu’il a reconnu mal avisée (on reconnaît les garnds esprits entre autres grâce à leur capacité de reconnaître leurs erreurs…).

    http://voir.ca/chroniques/prise-de-tete/2013/04/24/economic-circus-apres-laffer-reinhart-et-rogoff/

    @ Gilbert Boileau

    «Rigueur! Rigueur! Rigueur!»

    J’essaie en tout cas!

    @ barefootluc

    Les grands esprits se rejoignent! 😉

    Désolé du retard à publier votre commentaire, j’étais en congrès aujourd’hui…

    J'aime

  5. 5 mai 2013 2 h 23 min

    Comme par hasard, depuis que ces erreurs de « l’étude » Reinhart et Rogoff ont étés relevées, Alain Dubuc de La Presse n’arrête pas d’écrire des articles défendant becs et ongles l’austérité!

    Sans doute a-t-il à coeur les intérêts de son patron!

    J'aime

  6. 5 mai 2013 6 h 03 min

    Je ne crois pas que Dubuc ait besoin des ordres de son patron pour écrire pour l’austérité. Ça correspond à son idéologie, c’est tout. On l’achoisi pour ça, et ensuite on le laisse aller. C’est comme ça que je vois ça.

    J'aime

  7. 6 mai 2013 7 h 10 min

    Bizarrement, du même journal, Patrick Lagacé avait déjà écrit que les journalistes (et plus encore les chroniqueurs) savaient s’auto-censurer et aussi de faire ce qui avait a faire, sans que le grand patron ai à le dire….

    Comme vous, je suis sûre que M. Dubuc n’a pas eu besoin d’un ordre de son patron… c’est pour ça que son patron l’a placé là. En bon professionnalisme, je suis sûre que M. Dubuc s’informe de l’actualité économique et que l’élément enclencheur de cette série d’articles est l’histoire de la contestation de « l’étude » Reinhart et Rogoff, mais M. Dubuc se garde bien d’y faire toute référence, c’est le côté manipulation de la chose!

    J'aime

  8. youlle permalink
    9 mai 2013 21 h 06 min

    Un jour il y à longtemps parce qu’il ne suivait idéologie de l’oncle Paul, ce dernier a donné une dure leçon a son subordonné Monsieur Dubuc. Il l’a rétrogradé.

    Alors aujourd’hui vrai pas vrai Monsieur Dubuc écrit la ligne de l’oncle Paul son patron dont il relève directement.

    J'aime

  9. 10 mai 2013 5 h 07 min

    «parce qu’il ne suivait idéologie de l’oncle Paul,»

    Je ne me souviens pas qu’il n’ait pas suivi cette idéologie!

    «Il l’a rétrogradé.»

    Quand il était directeur du Soleil et est redevenu chroniqueur?

    J'aime

  10. youlle permalink
    10 mai 2013 10 h 27 min

    @ Darwin

    « Quand il était directeur du Soleil et est redevenu chroniqueur? »

    Je ne me souviens pas des précisions, mais si je me souviens bien c’était au tout début de sa carrière qu’il a fait cet écart de conduite.

    C’est un des deux livres qui me servent pour ma réhabilitation, si je relis ce passage je vous en ferai part.

    J'aime

  11. 10 mai 2013 12 h 25 min

    Au début, il était journaliste et chroniqueur à la section économie de La Presse (peu importe le nom que cette section avait à l’époque) et est passé une dizaine d’années plus tard éditorialiste en chef (peut-être après un temps comme simple éditorialiste). Et, je ne me souviens pas qu’il ait pu déroger à la ligne du parti… euh, du journal, je veux dire!

    Ce serait donc logique que votre hypothèse soit bonne. Il écrivait parfois de très bons articles à ses débuts!

    J'aime

  12. youlle permalink
    10 mai 2013 20 h 45 min

    Oups! Les jeunes neurones de vieux.

    « Il écrivait parfois de très bons articles à ses débuts! »

    Bon vous me picossez la curiosité et la thérapie et il me semble qu’il a été puni pour cela.(les bons articles)

    Mais je vais m’en assurer.

    J'aime

  13. barefootluc permalink
    10 mai 2013 21 h 09 min

    Ce ne serait pas Pratte qui a fait un séjour au banc des punitions?

    « André Pratte est sans doute, aujourd’hui, le plus fidèle, le plus acharné et le plus besognant des défenseurs des positions politiques des patrons de Power Corporation. Il a cependant gagné à la dure son poste d’éditorialiste en chef du navire amiral médiatique de Power/Gesca même si son père a été proche de Paul Desmarais et membre des conseils d’administration de Power Corporation, de la Financière Power, de Gesca et de La Presse entre 1980 et 1988.

    À la dure, car comme se souviendront tous ceux et celles qui suivent les médias au Québec, il a dû passer par un purgatoire de six mois en 1994 à la suite d’une intervention directe du patron de Power Corporation auprès de la direction du journal La Presse au sujet d’une chronique qu’il avait commise. Et ce purgatoire explique peut-être son zèle actuel. Pour mémoire, rappelons les faits.

    « Tout est pourri » est le titre coiffant la chronique du 11 février 1994 d’André Pratte. Le chroniqueur a reproduit certains extraits d’une conversation téléphonique qu’il avait eue avec un lecteur, extraits qu’il qualifie lui-même de « vision confuse et caricaturale de la société québécoise », mais en ajoutant qu’elle avait « son fond de vérité » […] »

    [Robin Philpot]

    http://archives.lautjournal.info/autjourarchives.asp?article=3425&noj=274

    J'aime

  14. 10 mai 2013 21 h 47 min

    @ Youlle

    Je me souviens entre autres d’articles sur les retombées économiques qu’il démystifiait très bien.

    Il a parlé entre autres du combat Leonard-Duran qui avait fait un déficit de 1 million et que bien des commentateurs sportifs disaient pas important car il y avait des retombées économiques. Il avait rétorqué que jeter un million à terre entraîne aussi des retombées économiques, mais que ce n’est pas nécessairement la meilleure chose à faire avec un million $. En plus, une bonne partie de retombées ont eu lieu à Panama (Duran) et aux États-Unis (Leonard). Il concluait que la question est de savoir si c’est la meilleure utilisation qu’on peut faire de cette somme (j’y vais de mémoire d’un article vieux de plus de 30 ans… Un peu court, mais bien pour un article de journal!

    Il avait aussi dans le même thème ridiculisé le calcul des retombées quand on ouvre un magasin de grande surface ou un nouveau centre d’achat. Il ne faut pas seulement additionner les retombées de ce centre, mais soustraire les pertes des commerces qui fermeront. J’ai déjà dit la même chose, alors…

    Bref, il faisait de la bonne vulgarisation économique!

    J'aime

  15. 10 mai 2013 21 h 54 min

    @ barefootluc

    «Ce ne serait pas Pratte qui a fait un séjour au banc des punitions?»

    Même sans votre source (très pertinente, cela dit), je crois que je vous aurais donné raison. Il était indépendantiste, en plus! Il a voté oui même en 1995 (sauf erreur…)!

    Quoiqu’il ne soit pas impossible que Dubuc ait déjà subi le même sort, mais je ne me souviens de rien de tel. Au contraire, l’ex trotskiste a été promu très rapidement!

    J'aime

  16. youlle permalink
    10 mai 2013 23 h 23 min

    @ barefootluc et Darwin

    Bon je suis tout mêlé. Comme j’ai dis je dois vérifier pour en avoir le coeur net.

    Une chose est sûre, la ligne éditoriale est sous l’influence de Paul Désmarais ou de son bureau. Le reste est supposé être libre selon ses dires.

    J'aime

  17. 11 mai 2013 5 h 35 min

    @ Youlle

    «la ligne éditoriale est sous l’influence de Paul Désmarais ou de son bureau»

    C’est très drôle de constater que La Presse prétend toujours le contraire. À les lire, il n’y a que la ligne fédéraliste qui est obligatoire, et emcore, seulement sur la page éditoriale. Je me souviens du premier éditorial de Dubuc où il disait que la direction lui avait promis de ne jamais intervenir dans ses éditoriaux. Bien sûr, le contrôle idéologique a été fait avant! Et, on compte toujours sur l’autocensure pour le reste!

    Mais, s’il avait écrit ne serait-ce qu’un seul texte déviant de la ligne, il l’aurait senti passer!

    J'aime

  18. 11 mai 2013 14 h 20 min

    «Kenneth Rogoff et Carmen Reinhart ont admis avoir commis des erreurs, erreurs qui, disent-ils, ne changent rien à leurs conclusions initiales.»

    Hahaha! Je m’y attendais, à celle-là! Pourtant :

    «Les nouvelles données publiées permettent toutefois de contester que la barre de l’endettement de 90 % du PIB soit une limite sacro-sainte après laquelle la croissance s’effondrerait brutalement.»

    Bref, les conclusions sont différentes, mais sont les mêmes!

    http://www.ledevoir.com/economie/actualites-economiques/377940/oups

    J'aime

  19. 11 mai 2013 17 h 47 min

    @Darwin

    Effectivement, la direction n’a pas a intervenir… Orwell disait qu’un chien bien dompté saut dans le cerceau au claquement du fouet et qu’un chien parfaitement dompté saut dans le cerceau sans le fouet!

    Pour Rogoff et Reinhart, je crois ce qu’il y a d’initiales dans leurs conclusions c’est qu’elle s étaient « initiales » avant même qu’ils commencent leur étude!

    J'aime

  20. 15 mai 2013 17 h 50 min

    Un texte solide (en anglais…) de Paul Krugman sur Reinhart et Rogoff, mais aussi sur Alesina and Ardagna, les adorateurs de la fée confiance qui est sensée régler tous les problèmes (mais ne le fait pas!). Incroyable que tant d’économistes aient cru à ces fadaises. Krugman attribue cette crédulité au fait que les gens ont tendance à croire ce qu’ils veulent entendre, ce qui correspond à ce que j’ai écrit sur le biais de confirmation.

    J’aurais bien traduit-résumé ce texte, mais il contient trop d’éléments que j’ai abordés dans ce billet. Cela dit, il mérite amplement le coup d’oeil!

    How the Case for Austerity Has Crumbled (Comment la cause de l’austérité s’est effondrée)
    http://www.nybooks.com/articles/archives/2013/jun/06/how-case-austerity-has-crumbled/?pagination=false

    J'aime

Trackbacks

  1. Ni péquiste, ni égaré! |
  2. La dette publique, facteur de croissance ou de récession? — Union Républicaine
  3. Deux livres orthodoxes sur l’économie |

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :