Les résultats des élèves québécois au PISA 2015 (1)

Rarement la diffusion des résultats des élèves québécois au Programme international pour le suivi des acquis des élèves (PISA) n’a fait l’objet de tant de controverse. Si le premier article publié par La Presse était élogieux (Les élèves québécois sur le podium), celui du Devoir (Les bonnes notes du Québec remises en question) soulevait déjà des questions. On dirait que le journaliste de La Presse s’est contenté de lire le communiqué publié par le Conseil des ministres de l’Éducation du Canada (CMEC) et d’interviewer une seule personne sans avoir pris la peine de lire l’étude. En effet, les doutes soulevés par Le Devoir sont clairement énoncés dans le document complet (quand même pas si long à lire…), non seulement dans la section portant sur les Procédures d’échantillonnage, taux d’exclusion et taux de réponse pour le PISA 2015 aux pages numérotées 51 à 55, mais aussi au bas de chacun des tableaux (sauf étrangement dans ceux de l’annexe B) où on peut lire que «les résultats pour la province de Québec dans ce tableau doivent être considérés avec circonspection en raison d’un possible biais de non-réponse».

Le problème

Rappelons tout d’abord que le Québec s’est classé au cinquième rang mondial pour les sciences, au troisième en mathématiques et au quatrième en lecture sur 81 territoires (les 10 provinces canadiennes et 71 pays). En fait, il s’est même classé au troisième rang en sciences du côté du plus grand pourcentage des élèves qui ont reçu un résultat de deux ou plus (91,6%), soit «le niveau de rendement de base en sciences requis pour pouvoir poursuivre des études et participer pleinement à la vie dans notre société moderne».

Le problème avec ces résultats est illustré dans le tableau A.2 à la page numérotée 55 du document. On peut y voir que le taux de réponse des écoles québécoises sélectionnées (après pondération en fonction des effectifs d’élèves de ces écoles et après remplacement à l’aide d’un échantillon supplémentaire d’écoles) ne fut que de 51,7 %, alors que la norme internationale est de 85 % (faible participation due à un boycottage de la Fédération québécoise des directions d’établissement d’enseignement pour protester contre les compressions en éducation). On remarquera que cette norme ne fut pas respectée non plus en Ontario (81,9 %) et en Alberta (80,4 %) ni pour l’ensemble du Canada (ce qui contredit Patrick Lagacé qui affirmait la semaine dernière que ces deux provinces étaient capables «d’accoucher d’un échantillon fiable, sans biais possible»). Or, contrairement à ce que certains articles ont laissé entendre, le fait de ne pas respecter cette norme ne suffit pas pour rendre les résultats de ces territoires invalides ou pour obliger de mentionner que ces résultats «doivent être traités avec circonspection».

En effet, dans ces cas, le consortium international responsable d’évaluer la qualité des résultats exige plutôt des autorités responsables d’administrer le PISA «d’effectuer une analyse du biais de non-réponse pour le taux de réponse des écoles». C’est ce qui a été fait pour les résultats du Québec, de l’Ontario et de l’Alberta. Ces trois provinces ont alors utilisé des indicateurs relatifs aux caractéristiques de l’école et au rendement des élèves pour comparer leur échantillon à l’ensemble de leur réseau scolaire. Pour le Québec, il s’agit de «données démographiques des écoles pour toutes les écoles couvertes par le PISA 2015 (le type de financement de l’école, la langue de l’école et la taille de l’école) et les scores moyens des élèves en sciences et en lecture pour les écoles». Cet exercice a fait ressortir «certains écarts» (j’aurais aimé plus de précisions…) entre les écoles répondantes et l’ensemble de son réseau scolaire. En plus, les «résultats pour le score moyen des élèves pour les écoles en sciences ont montré des écarts significatifs entre les écoles non répondantes pour les estimations ajustées de la moyenne et de la médiane (l’écart absolu étant respectivement de 2,15 p. 100 et de 2,81 p. 10) et les paramètres de la population correspondants. Aucun écart significatif n’a été noté pour la lecture».

Par contre, même si de petits écarts ont été observés pour l’Ontario et l’Alberta, ils n’étaient pas suffisamment importants pour influencer leurs résultats de façon significative. En plus, et cela est important, les biais trouvés au Québec (et dans une bien moindre mesure en Ontario et en Alberta) ne semblent pas influencer de façon significative les résultats pour l’ensemble du Canada. En conséquence, «le consortium international du PISA a jugé que les données du Canada étaient globalement de qualité acceptable et pouvaient être incluses dans leur intégralité dans les ensembles de données du PISA, sans aucune restriction». Par contre, «il a été décidé que les résultats de la province de Québec doivent être traités avec circonspection, en raison d’un possible biais de non-réponse, et qu’une note à ce sujet devrait figurer dans toutes les analyses régionales internationales et dans le rapport pancanadien». Cela montre que le biais québécois n’est quand même pas énorme, sinon il aurait aussi influencé les résultats pour l’ensemble du Canada.

Aucun des textes des médias que j’ai lus ne mentionne l’importance de l’analyse de la non-réponse. Certains (dont cet article) se permettent même de remettre en question les résultats de 2006 à 2012, car, ces années-là aussi, le taux de réponse des écoles québécoises sélectionnées ou des élèves des écoles répondantes fut inférieur aux normes internationales (de 85 % pour les écoles et de 80 % pour les élèves). Regardons ce qu’il en est :

• En 2006 (pages 59 et 60) : les écarts entre les taux de réponse des écoles (83,2%) et des élèves (73,7%) ont été assez proches des normes internationales pour ne pas avoir besoin d’analyser la non-réponse.
• En 2009 (pages 43 et 44) : cette fois, les écarts entre les taux de réponse des écoles (69,0%) et des élèves (71,0%) ont été nettement plus importants par rapport aux normes internationales (surtout «en raison de l’exigence dans cette province d’obtenir le consentement écrit des parents à la participation de l’élève au PISA»). Dans l’article de La Presse, on indique que «les répondants aux tests viennent de milieux socioéconomiques légèrement plus favorisés que les autres, et qu’ils ont obtenu de meilleures notes à l’épreuve de français provinciale». Le rapport confirme cette affirmation, mais ajoute que cette différence n’est pas grande et que «le milieu socioéconomique des élèves du Québec n’est pas statistiquement lié à la non-réponse lorsque le sexe, la fréquentation d’une école privée ou publique, le système scolaire anglophone ou francophone et la taille de l’école sont inclus dans le modèle». Cette analyse confirme toutefois que les répondants ont obtenu une note légèrement (mot omis dans l’article) plus élevée à l’évaluation linguistique provinciale. L’article ne mentionne pas non plus que «le consortium a déterminé que la qualité des données canadiennes, y compris celles du Québec, était suffisante pour qu’on puisse les inclure dans les ensembles de données du PISA sans restrictions».
• En 2012 (pages 53 à 56) : le taux de réponse a atteint la norme de 85 % (85,3 %), ce que ne mentionne pas l’article de La Presse, mais pas celui des élèves, par une faible marge (75,6 %). Comme le précise l’article de La Presse, «les filles et les élèves des écoles privées sont surreprésentés», mais en plus, les répondants ont eu de meilleurs résultats au test provincial en français. Par contre, l’article omet la conclusion, qui affirme que ces facteurs pourraient n’avoir qu’une incidence marginale sur les résultats du Québec. On comprendra qu’avec un écart aussi faible entre le taux de réponse des élèves et la norme internationale, l’impact de ces différences ne peut pas être énorme. J’ajouterai que le taux d’exclusion d’élèves (pour des motifs d’incapacité intellectuelle ou fonctionnelle, et de manque de connaissance des deux langues officielles) fut moins élevé au Québec que dans l’ensemble du Canada (4,1 % par rapport à 5,5 %). En passant, cet écart fut encore plus important en 2015 (3,8 % au Québec par rapport à 6,9 % pour l’ensemble du Canada). On notera que le motif de loin le plus fréquent d’exclusion (plus de 70 % des cas au Canada et plus de 80 % au Québec) est l’incapacité intellectuelle.

Est-ce grave?

Les avis sont partagés à cet effet. D’un côté, Eugide Royer, professeur à la faculté des sciences de l’éducation de l’Université Laval, rejette les résultats du PISA 2015, car «L’échantillon ne tient pas la route». Il ajoute qu’il «doute depuis des années des scores impressionnants des Québécois aux tests PISA». S’il doute des résultats de ce programme quand l’échantillon est représentatif, on comprendra qu’il rejette aussi facilement les résultats de la dernière version. Patrice Potvin, professeur au département de didactique à l’Université du Québec à Montréal (UQAM), pense au contraire que ces résultats, même si surévalués, fournissent des enseignements qu’on aurait tort de rejeter d’emblée. Dans le même sens, Gilles Raîche, professeur à la faculté des sciences de l’éducation de l’UQAM, avance que «La non-représentativité de l’échantillon ne signifie pas automatiquement que les résultats sont biaisés, mais cela laisse supposer que cela pourrait être possible. Il est malheureusement impossible de le savoir à coup sûr». Claude Lessard, professeur associé à la Faculté des sciences de l’éducation de l’Université de Montréal, considère de son côté que «Cette surreprésentation des écoles privées dans l’échantillon québécois du PISA est inquiétante». Bref, il y en a pour tous les goûts et on peut choisir notre expert favori selon ce qu’on préfère entendre.

Assez étrangement, aucun des experts dont j’ai lu l’analyse (ou l’opinion) ne mentionne directement les résultats de l’analyse du biais de non-réponse qui devraient selon moi appuyer ces opinions. Or, on y dit essentiellement deux choses importantes :

• il y a une différence de 2,15 % entre la moyenne des élèves répondants et celle des non répondants dans leurs résultats en sciences et une différence de 2,81 % entre leurs médianes;
• il n’y a aucune différence significative dans leurs résultats en lecture.

J’ajouterai que, malheureusement, le rapport ne donne aucune information sur les résultats des répondants et des non répondants en mathématiques. Quel impact ces différences peuvent-elles entraîner? J’ai demandé à une amie mathématicienne (Lise Trottier) si elle pouvait quantifier l’impact de ces différences. Compte tenu de l’écart le plus grand, soit celui de la médiane (2,81 %), elle a voulu me fournir une estimation encore plus conservatrice et a choisi d’appliquer une correction presque deux fois plus importante, soit de 5 % sur les résultats en sciences. Ainsi au lieu d’avoir la répartition montrée dans le graphique ci-contre, soit de 8 % au dessous du niveau 2, 18 % au niveau 2, 31 % au niveau 3, 30 % au niveau 4 et 13 % aux niveaux 5 et 6, sa correction de 5 points de pourcentage serait appliquée aux niveaux inférieurs et supérieurs, transformant cette répartition en 13 % au dessous du niveau 2, 18 % au niveau 2, 31 % au niveau 3, 30 % au niveau 4 et 8 % aux niveaux 5 et 6. On pourrait aussi penser que le pourcentage d’élèves ayant atteint le niveau 4 (30%) diminuerait un peu et que celui ayant atteint le niveau 2 (18 %) augmenterait d’autant, mais comme ces résultats sont près de la moyenne, il est hasardeux d’estimer l’ampleur de ces changements. Ce résultat serait moins bon que celui de la moyenne canadienne, mais toujours nettement meilleur que celui de l’OCDE et de ceux de quatre provinces canadiennes. De même, le score de 537 passerait au pire à 510, bien moins que la moyenne du Canada (528, moyenne qui baisserait à 521 ou 522, car la moyenne canadienne est influencée par le résultat du Québec), mais beaucoup plus que la moyenne de l’OCDE (493) et que les quatre même provinces canadiennes. Et je répète qu’il s’agirait d’un effet maximal issu d’une estimation conservatrice.

Cette estimation semble aussi bien cadrer avec les résultats des versions antérieures du PISA. En effet, on peut voir au tableau B.1.16 de la page numérotée 72 du document que les résultats antérieurs du Québec en sciences furent de 531 en 2006, 524 en 2009, 516 en 2009. Un résultat de 510 semble donc un peu faible (il s’agit, je le répète d’un effet maximal issu d’une estimation conservatrice), mais d’un ordre de grandeur plausible.

Et bien sûr, il n’y aurait aucun effet sur le résultat en lecture (532), car l’analyse de la non-réponse n’a trouvé aucune différence dans les résultats de français entre les répondants et l’ensemble des élèves du Québec. Cela aussi a du sens, puisque les résultats du Québec ont varié de 520 à 536 selon les années dans les six versions du PISA allant de 2000 à 2015 (voir le tableau B.2.9a de la page numérotée 82), quoiqu’il soit nettement plus élevé qu’en 2012 (520). Finalement, les analyses de non-réponse ne permettent pas d’estimer l’effet en mathématiques. Il y en a sûrement eu un, mais probablement pas d’aussi grande ampleur qu’en sciences. En effet, le tableau B.2.10a montre que le résultat de 2015 (544) est à peine plus élevé que ceux des versions précédentes (entre 536 et 543 de 2003 à 2012).

Et alors…

Cette analyse permet d’y voir un peu plus clair, mais il demeure qu’elle ne permet que d’avoir une idée du biais de non-réponse. On n’aura jamais la vraie réponse (comme l’a dit pertinemment Gilles Raîche). Par contre, cette estimation permet de voir que, même avec une correction conservatrice, les résultats en sciences des élèves québécois demeureraient nettement au-dessus de la moyenne de l’OCDE, de même que de ceux des jeunes des autres pays comptant des francophones (506 en Suisse, 502 en Belgique et 495 en France). Je précise ce fait, car de nombreux commentaires que j’ai mentionnés dans des billets précédents (dont celui-ci) sur ce programme (dont ce texte) ont souligné la plus grande difficulté que pourraient éprouver des francophones dans un test conçu en anglais.

Cette analyse me permet aussi de présenter certains résultats qui m’ont paru intéressants, ce que je ferai dans mon prochain billet. J’éviterai toutefois de présenter ceux en sciences. C’est dommage, mais je crois préférable de me concentrer sur les résultats qui ne sont pas globalement remis en question, surtout ceux en lecture. Et, je le ferai bien sûr avec circonspection, comme le conseille le consortium international du PISA.

Publicité