On ne peut pas faire dire ce qu’on veut aux chiffres!

Il y a deux semaines, j’ai publié un billet de ma série des expressions qui me tapent sur les nerfs en disant que je n’avais pas eu besoin de fouiller dans la banque d’expressions que j’ai constituée pour choisir l’expression du jour. Cette fois, j’ai décidé de choisir celle que j’ai mise de côté il y a le plus longtemps (trois ans? quatre?).

L’expression du jour (on peut faire dire n’importe quoi aux chiffres) sert souvent pour contrer une conclusion solide que la personne qui l’utilise ne peut accepter ni contredire. D’autres fois, on l’utilise pour montrer que l’adversaire fait dire au chiffres ce qu’ils ne disent pas. Mais, en fait, cela prouve justement qu’on ne peut pas leur faire dire n’importe quoi!

Des exemples…

– aux postes

Dans ce premier exemple, le Syndicat des travailleurs et travailleuses des postes (SPPT) prétend que l’employeur fait dire n’importe quoi aux chiffres en utilisant son déficit de 188 millions $ en 2011 pour justifier la diminution des services et ses demandes de compressions salariales. Or, en utilisant les chiffres du rapport annuel de son employeur, Postes Canada, le STTP démontre facilement que ce déficit était essentiellement dû à des événements qui ne se reproduiront pas (paiement de 63 millions $ au fonds de retraite dû aux exigences d’une loi, versement de 150 à 200 millions $ pour régler une décision de la Cour suprême sur l’équité salariale et perte de 60 millions $ en raison d’une grève et d’un lock-out). Bref, les chiffres disaient bien ce qu’ils voulaient dire, le STTP le montre clairement!

– Carlos Leitao, le Portugal, la Grèce et les estimations hypothétiques

Ici, c’est Gérald Fillion qui dit qu’il paraît, ajout qui atténue justement le propos qui suit, qu’on peut faire dire n’importe quoi aux chiffres, même s’il dit dans la suite du paragraphe que cela se fait en lançant des affirmations non vérifiables, donc pas sur des chiffres, ou basées sur des «chiffres hypothétiques», donc pas sur des données fiables! Dans ces deux cas, ce ne sont pas les chiffres qui disent n’importe quoi, mais la personne qui tente de tromper ses auditeurs!

Il utilise comme exemple de son premier cas (affirmation non vérifiable) une citation du ministre des Finances Carlos Leitao qui prenait la situation déplorable du Portugal, son pays d’origine, et de la Grèce pour justifier l’adoption de mesures d’austérité au Québec (un classique!). Il prétendait que le Québec se retrouverait dans une situation semblable à celles du Portugal et de la Grèce si aucune mesure n’était prise. Ne citant aucune donnée pour appuyer ses propos, il est bien sûr impossible de contredire directement cette affirmation, quoique, comme le dit M. Fillion, aucune analyse sérieuse ne va dans ce sens. En outre, personne ne dit de ne rien faire, mais avance plutôt qu’il y a des solutions plus efficaces et plus équitables que l’austérité (qui, appliquée au Portugal et en Grèce, n’a fait qu’empirer leur situation) pour faire face à la situation du Québec!

Pour illustrer son deuxième cas (affirmations non vérifiables basées sur des «chiffres hypothétiques»), M. Fillion utilise encore une citation de M. Leitao, cette fois sur le rattrapage «nécessaire» de 3,7 milliards $, chiffre hypothétique tiré d’un document préparé par messieurs Claude Montmarquette et Luc Godbout qui basaient leur estimation sur une hausse de 6,1 % des dépenses en 2014-2015, alors que le budget de l’«ex-ministre des Finances Nicolas Marceau visait une croissance des dépenses de programmes de 2 %» pour cette année-là ! Comme chiffre hypothétique, on ne peut faire mieux!

Notons que le billet de M. Fillion mentionne aussi une mauvaise utilisation des données de l’Institut de la statistique du Québec par la FTQ et le Front commun des syndicats du Québec. Encore là, ce ne étaient pas les chiffres qui disaient n’importe quoi, mais bien ceux qui les mentionnaient!

– la criminalité

Ce billet du Satellite Voyageur rappelle de belle façon la négation des données de Statistique Canada sur la baisse de la criminalité par le ministre de la Sécurité publique du Canada de l’époque, Stockwell Day, qui prétendait que cette baisse était artificielle car «les gens ne rapportent tout simplement pas les crimes». Le billet revient aussi sur l’explication de ces données par le sénateur Pierre-Hugues Boisvenu qui affirmait que «quelqu’un, quelque part, manipule les chiffres», probablement des criminologues. Dans le fond, cette affirmation est encore encore pire que de faire dire n’importe quoi à des chiffres!

– sur la dette de Québec

La dette est vraiment un sujet populaire pour tenter de faire dire n’importe quoi aux chiffres! Cette fois, c’est à Québec que l’opposition dénonce le doublement de la dette en comparant celle d’avant les fusions à celle d’après. Encore là celui qui prétend qu’on peut «faire dire n’importe quoi aux chiffres» réussit à démontrer en une seule phrase que, non, on ne peut pas! Notons que c’est possible que cette dette ait augmenté en proportion des budgets des villes, mais sans une comparaison sensée, l’argument ne peut que se retourner contre celui qui dit n’importe quoi, en montrant ce que les chiffres disent vraiment!

– sur les données sur l’emploi

Je ne serais pas moi si je ne présentais pas un exemple sur les données sur l’emploi provenant de l’Enquête sur la population active (EPA). Mais, ce n’est pas de ma faute, c’est un des premiers exemples qui s’est affiché sur Google en faisant ma recherche!

Cette fois encore, Gérald Fillion lance d’entrée de jeu que «C’est vrai qu’on peut faire dire ce qu’on veut aux chiffres», mais en ajoutant que, «en s’intéressant aux tendances, il est difficile de triturer les conclusions». Dans mon livre à moi, ça veut dire qu’en utilisant le vrai sens du message des chiffres, on ne peut justement pas en conclure n’importe quoi!

Il montre dans ce billet que les résultats diffèrent grandement selon les périodes qu’on compare, soit la moyenne de variation de l’emploi sur un mois, sur trois mois, sur six mois ou sur 12 mois. Ces résultats sont de fait moins variables, mais le demeurent!

Ce tableau nous montre que l’estimation d’un mois à l’autre pour le Canada a une erreur-type de 28 900 (14 900 pour le Québec), ce qui signifie qu’il y a une probabilité de 68 % que l’emploi soit entre 28 900 de moins et 28 900 de plus que cette estimation. Pour obtenir la probabilité à 95 %, il faut utiliser le double de l’erreur-type, soit 57 800 (29 800 pour le Québec). Et, cet écart demeure le même qu’on compare le dernier mois avec le précédent ou avec un mois qui date d’un an. N’oublions pas que cela signifie que, une fois sur vingt en moyenne (donc en moyenne au moins une fois par un peu moins de deux ans), cet écart sera encore plus grand!

En utilisant la moyenne de croissance mensuelle sur 12 mois, M. Fillion fait bien sur diminuer la marge d’erreur d’autant. Ainsi, les variations qu’il mentionne sur 12 mois ont toujours une marge d’erreur à 95 % de 4 800 (57 800 / 12 = 4817). Ainsi, la croissance moyenne sur 12 mois qu’il mentionne dans son billet, soit 12 158 (que de précision!), a en fait une probabilité de 95 % de se situer entre 7341 et 16 985, soit un niveau de croissance qui fait plus que doubler entre sa valeur minimale (enfin 95 % du temps) et sa valeur maximale, et cela pour une moyenne de croissance annuelle qui ne nous dit pas grand chose sur l’évolution récente de l’emploi… Comme je le dis fréquemment, on ne s’en sort pas, il faut jumeler les données de l’EPA avec des données d’autres sources pour avoir une meilleure idée de la tendance…

Malgré ces nuances, le message de M. Fillion demeure pertinent : ce ne sont pas les chiffres qui disent n’importe quoi, mais ceux qui ne les comprennent pas ou les interprètent erronément!

Et alors…

On peut bien essayer de leur faire dire autre chose que ce qu’ils disent, mais, les chiffres sont têtus, ils ne disent que ce qu’ils disent. Ceux qui tentent de leur faire dire autre chose sont soit malhonnêtes, s’ils comprennent bien leur sens, soit incompétents, s’ils les interprètent mal par ignorance.

Je pourrais conclure avec une boutade lue sur cette page (il est vrai à 75,43 % qu’on peut faire dire n’importe quoi aux chiffres»), mais je préfère terminer ce billet en paraphrasant ce que disait Paul Krugman dans ce texte à propos de l’analyse économique (qui repose sur des chiffres…). Les politiciens et les leaders d’opinion se servent trop souvent des chiffres comme un poivrot se sert d’un lampadaire : pour s’appuyer, pas pour s’éclairer.

Publicité