Skip to content

L’Institut de la statistique du Québec et l’Enquête nationale auprès des ménages

28 janvier 2015

ISQ_ENML’Institut de la statistique du Québec (ISQ) a publié la semaine dernière un document intitulé Enquête nationale auprès des ménages de 2011 : ses portées et limites. J’imagine qu’un tel sujet attire autant la population que les journalistes qui, à ma connaissance, n’en ont pas du tout parlé! Et pourtant…

Il faut ici préciser que l’Enquête nationale auprès des ménages (ENM) est l’enquête volontaire qui a remplacé le formulaire long obligatoire du recensement. J’ai analysé à quelques reprises les conséquences de ce remplacement, notamment dans ce billet. J’y disais entre autres que «comme les données du recensement (et dorénavant de l’Enquête nationale auprès des ménages) servent à pondérer les enquêtes de Statistique Canada (il en reste quand même beaucoup!), par exemple selon le niveau de scolarité et le revenu, ce sont les résultats de toutes ces enquêtes qui seront moins fiables qu’avant». L’ISQ, dans ce rapport, parle aussi des appréhensions de ce genre, mais en plus des effets concrets de ce remplacement, maintenant que les données de l’ENM sont disponibles.

Le document

– les appréhensions

Dans la première partie de son document, l’ISQ rappelle les appréhensions qu’elle avait des conséquences du remplacement du formulaire long obligatoire du recensement par une enquête volontaire. Elles ressemblent passablement à celles que j’avais :

  • la sous-représentation des groupes vulnérables;
  • l’absence ou le manque de fiabilité des données à des niveaux géographiques fins;
  • la perte de comparabilité des données au fil du temps et
  • l’impact sur la qualité des autres enquêtes de Statistique Canada.

Le document précise ensuite les conséquences de ces quatre inquiétudes. Il mentionne les programmes susceptibles d’être touchés :

  • la Loi sur les services de santé et les services sociaux, qui stipule qu’on doit baser ses décisions sur «une connaissance des déterminants de la santé et du bien-être ainsi que l’atteinte de niveaux comparables de santé et de bien-être au sein de différents groupes de la population»;
  • les programmes d’éducation liés à l’alphabétisation, aux élèves autochtones et aux élèves issus de l’immigration qui doivent aussi reposer sur «la disponibilité d’informations fiables concernant ces clientèles à des niveaux géographiques très fins»;
  • la Loi sur le ministère de l’Emploi et de la Solidarité sociale et sur la Commission des partenaires du marché du travail qui «est exigeante en matière de disponibilité d’information spécifique relative au marché du travail»;
  • la connaissance de la situation des groupes en situation de pauvreté qui «est essentielle dans le cadre des mesures de lutte à la pauvreté»;
  • l’application de la Loi assurant l’exercice des droits des personnes handicapées en vue de leur intégration scolaire, professionnelle et sociale, pour laquelle la fiabilité des données est essentielle;
  • les «programmes destinés aux populations ethnoculturelles, le respect des politiques sur l’immigration et l’intégration des immigrants ainsi que l’offre de service répondant adéquatement aux besoins de ces groupes de population», pour lesquelles des données précises sont aussi nécessaires;
  • le développement économique régional et d’aménagement du territoire.

Cette liste n’est pas exhaustive. Le document fournit une liste plus complète au tableau 1 de la page 21.

– les résultats

Sans surprise, les résultats de l’ENM sont incomplets, surtout «à des niveaux géographiques fins», tel que l’ISQ le craignait. Ainsi, Statistique Canada n’a publié aucun résultat pour 183 subdivisions de recensement (sur 1162, ou 16 % d’entre elles), soit les secteurs où le taux de réponse fut inférieur à 50 %. Ce nombre aurait cependant été beaucoup plus important si le critère de suppression utilisé lors du recensement de 2006 avait été appliqué (taux de réponse inférieur à 75 %). Comme le taux global de non-réponse fut de plus de 22 % pour l’ensemble du Québec, Statistique Canada n’aurait pas pu fournir de données pour près de la moitié des subdivisions de recensement s’il avait conservé le même critère! Et il faut aussi considérer le nombre beaucoup plus élevé que lors des recensements précédents du nombre de données avec des «0» qui peuvent aussi bien représenter un vrai zéro qu’une donnée supprimée (en raison des règles de confidentialité, dès que l’ENM a compilé moins de 4 réponses), sans qu’on ne précise la raison de ce 0 (moins de quatre réponses ou aucune). Personnellement, j’ai consulté un tableau d’une région du Québec où le total des cellules représentait moins de 80 % du total des données, sans savoir si les zéros en étaient des «vrais»! Je ne peux donc qu’appuyer les conclusions de l’ISQ sur le désarroi qu’on ressent devant ces données et même celles qui fournissent des chiffres! Quand le doute s’installe, on ne sait plus comment interpréter les données fournies, comme le montre bien cette citation tirée de la page 30 :

«Certains utilisateurs se questionnent lorsqu’ils observent une différence, à savoir si celle-ci représente un véritable changement ou si elle est plutôt liée à un biais ou à une erreur d’échantillonnage. Devant l’absence de différence entre les données, les utilisateurs se demandent s’il ne devrait pas y en avoir une. Dit autrement, on peut rejeter des données qui apparaissent a priori aberrantes ou accepter une tendance alors qu’il n’y en a pas. Les utilisateurs doivent donc s’en remettre à la méthode du vraisemblable ou du gros bon sens.»

En général, on a besoin de données fiables justement pour ne pas baser ses décisions sur ses impressions ou son gros bon sens! Et, j’ai horreur des gens qui se fient à leur gros bon sens plutôt qu’à des données fiables…

En plus, les taux globaux de non-réponse ne tiennent pas compte de la non-réponse à toutes les questions. En effet, pour obtenir le plus de réponses que possible, Statistique Canada a accepté les formulaires incomplets. Cela est un peu normal, puisque l’enquête était optionnelle, mais cela fait en sorte que le taux de non-réponse varie selon les questions. «Ce sont les questions relatives à la scolarité, aux caractéristiques du logement et au revenu qui sont les plus touchées par ce phénomène dans l’ENM». Quand on sait que les résultats à ces questions servent à pondérer les réponses de beaucoup d’enquêtes de Statistique Canada, on ne peut que s’inquiéter de la qualité des données de toutes ces enquêtes au cours des prochaines années…

– le coût de l’imprécision

L’imprécision coûte cher. Ainsi, de nombreux organismes et ministères provinciaux ont souligné devoir investir jusqu’à dix fois plus de temps qu’avec les données des recensements antérieurs pour tenter de valider les données de l’ENM, en les comparant par exemple avec les données d’autres sources (administratives ou tirées d’enquête, lorsque de telles données existent!) ou pour expliquer aux décideurs en quoi ces données ne sont plus aussi fiables qu’avant. Normalement, ces données servent justement à avoir l’heure juste au moins une fois en cinq ans, et là, on doit au contraire utiliser des données moins précises pour valider les données qui devraient être la référence ultime! Autre conséquence déplorable, «plus on doit effectuer des travaux de validation avant d’utiliser les données, plus l’incertitude augmente quant à la qualité de celles-ci pour la prise de décision». Un intervenant a même cru bon d’ajouter de façon pertinente que «lorsque les acteurs se parlent, il faut que ce soit pour des enjeux et non pour des données».

Et dire que «pour réaliser l’ENM, 22 millions de dollars (22 M$) ont été ajoutés au budget prévu par rapport à la réalisation du recensement utilisant le questionnaire détaillé obligatoire». Le gouvernement fédéral n’a donc pas transformé un formulaire obligatoire par une enquête optionnelle pour économiser des sous, mais bien pour… on ne sait trop quelle raison (même si les hypothèses sont nombreuses…)!

– données les plus touchées par le manque de fiabilité des données de l’ENM

Le rapport recense (si on peut dire…) ensuite les données qui semblent les moins fiables, en tout cas les moins cohérentes avec les données des recensements antérieurs et celles provenant d’autres sources. Il mentionne notamment :

  • «une sous-estimation assez importante des familles monoparentales» à l’échelle des secteurs de recensement (mais pas à l’échelle des régions administratives et de l’ensemble du Québec);
  • certaines données sur les personnes âgées de 65 ans et plus, et d’autres sur celles âgées de 15 à 24 ans;
  • les données sur l’emploi (rémunéré, travail autonome, etc.) et par secteur industriel et par profession (au moment où le gouvernement fédéral se plaint du manque de qualité de l’information sur le marché du travail et dit travailler pour qu’elle «soit de meilleure qualité»!);
  • la population à faible revenu semble elle aussi sous-estimée (dans son communiqué sur la parution des données de l’ENM sur les revenus, Statistique Canada a d’ailleurs mentionné que «La comparaison des estimations du faible revenu tirées de l’Enquête nationale auprès des ménages (ENM) de 2011 aux estimations des recensements précédents montre des tendances qui diffèrent de façon marquée de celles dérivées d’autres enquêtes et données administratives (…)»; l’agence a même utilisé une forme de faible revenu différente de celle des recensements précédents «pour prévenir des conclusions trompeuses»; une façon comme une autre de dire que ces données ne sont pas fiables!);
  • en comparant les données des déclarations de revenus avec celles de l’ENM, le rapport constate de grands écarts à l’échelle des municipalités régionales de comté (seulement 22 % d’entre elles montrent des écarts inférieurs à 2,5 %); ces écarts sont directement fonction du niveau de non-réponse : plus celui-ci est élevé, plus les écarts augmentent; les écarts les plus élevés s’observent chez les personnes gagnant moins de 10 000 $, ce qui expliquerait le peu de fiabilité des données sur le faible revenu; de même, les plus grandes différences selon le type de revenu s’observe du côté des revenus de transferts, plus importants chez les personnes à faible revenu.

– conclusion du rapport

«l’ENM ne permet pas de remplir son objectif comme il est stipulé dans le guide de référence de l’ENM, soit de «recueillir des données sociales et économiques sur la population canadienne et de fournir des données à de petits niveaux géographiques [ ] et pour de petits groupes de population»

Il est rare qu’un organisme gouvernemental se permette un commentaire aussi lapidaire envers un autre. Mais, devant le désastre décrit auparavant, il est bien mérité!

Et alors…

Il s’agit bien sûr d’un désastre, et en plus d’un désastre annoncé. Dès l’annonce de l’intention du gouvernement de remplacer le formulaire long obligatoire du recensement par une enquête volontaire, les experts du domaine ont jeté des hauts cris. De mémoire, jamais avait-on vu un dirigeant d’organisme fédéral démissionner pour une question de principe, comme Munir Sheikh, statisticien en chef à l’époque, l’a fait (et je le salue bien bas pour cette décision honorable).

Mais, le pire est que ce gouvernement est incapable d’apprendre de ses erreurs. Il a en effet décidé de reconduire cette enquête en 2016…

Publicités
4 commentaires leave one →
  1. 28 janvier 2015 9 h 06 min

    En effet, c’est une décision désastreuse. Lorsqu’on fait des études sur la pauvreté, on se base encore sur les données de 2006, car même si elles sont plus vieilles, elles sont plus fiables que celles de 2011! Une des décisions de ce gouvernement qui me choque le plus, car ses répercussions sont très larges, et pratiquement invisibles pour les gens.

    J'aime

  2. 28 janvier 2015 9 h 44 min

    Le plus déprimant est que ce sera aussi pourri en 2016. Le seul espoir est un changement de gouvernement, et, encore là, s’il reste suffisamment de temps pour transformer l’ENM en enquête à réponse obligatoire…

    Aimé par 1 personne

  3. Gilbert Boileau permalink
    28 janvier 2015 11 h 22 min

    Quelle horreur. C’est demander à un pilote de naviguer à l’aveugle… Mais en être conscient . Trop tard pour 2011. Espérons le mieux pour 2016.

    Aimé par 1 personne

  4. benton65 permalink
    28 janvier 2015 12 h 53 min

    Vous n’avez rien compris de l’idéologie conservateur: « Ce que l’on ne sait pas nous fait pas mal! »

    Les conservateurs, tout en prônant un gouvernement qui ne doit pas intervenir dans l’économie, prône un gouvrnement qui nous dit ce que est bien (et mauvais) pour nous. Vous savez, réfléchir, ça demande beaucoup et ce n’est pas productif…. laissons cela a des gens qui sont grâcement payés pour ça!!!

    Aimé par 1 personne

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :