Skip to content

Critique de Sherpa: un article bâclé

12 novembre 2016

sherpa-reduit-en-charpiePar Lise Trottier. Samedi dernier, sur mon compte Facebook, j’ai vu l’article suivant, issu du journal Le Devoir, être relayé joyeusement. J’ai été pour le moins estomaquée de constater avec quelle facilité et sans arguments valables, on pouvait démolir ainsi un travail de recherche.

Voici en substance les commentaires généraux de cette critique :

« Sherpa: un rapport aux graves lacunes méthodologiques. »

« Il s’agit là de sophismes présentés sous le couvert de statistiques malheureusement invalides. »

« Malgré les nombreux tableaux contenus dans le rapport, les conclusions des auteurs ne dérivent nullement de ces données statistiques ; les conclusions ont été juxtaposées aux données chiffrées pour donner l’impression qu’elles sont appuyées, mais elles constituent en fait des affirmations avancées sans preuve suffisante. »

« Ce rapport apparaît en définitive comme un document politique, sans valeur scientifique, et que les médias n’ont malheureusement pas pris la peine d’examiner. Les établissements visés seraient donc mal avisés de s’en servir pour adopter des mesures qui risquent d’être inopportunes. »

Ces critiques virulentes reposent sur une série de prétendues lacunes spécifiques qu’il convient de passer au crible, la première étant celle-ci:

« On note d’emblée une surreprésentation de la région montréalaise, si bien qu’on ne peut prétendre dresser un portrait d’ensemble de la radicalisation dans les collèges du Québec, comme mentionné dans les objectifs »

La proportion d’élèves montréalais dans l’échantillon est de 36,3 %. Donc oui, Montréal est surreprésentée. L’échantillon n’est pas parfaitement probabiliste et je suis désolée de décevoir les profanes de la science, mais ceci est plutôt la norme que l’exception pour cause principale de manque de moyens.

Pour être parfaitement stricte, on pourrait dire que ces résultats sont généralisables dans les régions de Montréal, Laval, Saguenay et la ville de Québec, puisque l’échantillon est composé d’élèves provenant uniquement de ces régions. Le rapport d’ailleurs ne mentionne à aucun endroit une telle généralisation sur l’ensemble du territoire québécois, il dit simplement que l’étude porte sur des étudiants québécois. Donc l’accusation ici est fabriquée.

Deuxième critique concernant l’échantillon

« Le rapport affirme être fondé sur l’analyse des réponses de 1894 participants, mais seulement 1241 d’entre eux ont répondu à toutes les questions sans qu’il soit possible de savoir s’ils sont représentatifs de l’ensemble des répondants. Presque deux fois plus de femmes que d’hommes ont répondu, ce qui n’est sûrement pas le reflet de la population étudiante des cégeps. »

Donc, 65.5% des jeunes ont répondu à la totalité du questionnaire. Le rapport mentionne :

« Les taux de réponse variaient beaucoup selon les cégeps et selon le genre, et tous les étudiants n’ont pas rempli le questionnaire, ce qui semble attribuable à des stratégies d’évitement associées à la sensibilité du sujet. »

C’est bien une limite de l’étude, mais elle est très honnêtement mise en évidence dans le rapport. De plus, ce type de données manquantes ne peut pas être soumis aux techniques conventionnelles d’imputation étant donné le mécanisme non aléatoire qui les génère. Dans le cas de cette étude, on peut toutefois évaluer la portée de ce biais; il conduit sans doute à une sous-estimation de la prévalence du phénomène étudié, et donc, fort probablement à une sous-estimation de la force des relations exposées. Donc ça n’invalide absolument pas les liens significatifs trouvés dans l’étude.

Et enfin la surreprésentation des femmes est un problème mineur puisque les analyses les plus importantes de l’étude sont stratifiées (hommes vs femmes).

Au sujet de l’accusation de fausse causalité 

Tout lecteur d’article de travaux scientifiques moindrement averti sait qu’une étude ne peut démontrer une causalité hors de tout doute, aucun moyen statistique d’ailleurs ne permet cela. Aussi, les auteurs d’articles scientifiques sérieux évitent-ils d’utiliser ce vilain mot « causalité ». C’est ce que les auteurs du rapport on fait. Une accusation qui tombe à plat.

La prochaine remarque m’apparaît plutôt de l’ordre de l’errance; la voici :

« Dans l’étude du Sherpa, le jeune âge (19-21 ans) est d’ailleurs la seule variable, parmi les déterminants du soutien à la radicalisation, qui montre une relation significative avec la radicalisation. Toutes les autres données sur les corrélations entre les variables dans leur ensemble sont très faibles et ne démontrent rien de concluant. »

Le tableau 12, à la page 58 du rapport, montre que la dépression, la violence vécue et le statut d’immigration (chez les filles seulement) sont des facteurs qui semblent intervenir, et ce, après contrôle sur un ensemble d’autres facteurs. La remarque est donc encore une fois surprenante et difficile à comprendre.

La suite de cette critique est encore plus étrange :

« Pour être considéré comme moyennement fort, un coefficient de corrélation (r) doit être d’au moins 0,7 ou 0,6 (positif ou négatif). Seulement quatre valeurs de r sur les 132 du rapport du Sherpa (tableau 11) sont supérieures à 0,6 et aucune ne concerne la religiosité. »

La critique suggère sérieusement que dans ce genre d’étude, une corrélation en bas de 0.6 ne vaut pas la peine qu’on s’y intéresse. De plus, ils ne considèrent que le tableau d’analyses bivariées. Omis de la critique les liens exposés dans les analyses multivariées absolument requises pour bien comprendre ce travail.

Ai-je besoin d’expliquer à ces universitaires ce qu’une corrélation entre 0,6 et 0,7 signifie? Il s’agit en l’occurrence de pouvoir expliquer plus de 36 % de la variabilité de l’indicateur d’un comportement humain, très complexe, avec un seul facteur! Pour obtenir une corrélation aussi forte dans l’étude des comportements humains, il faut corréler des variables conceptuellement très rapprochées. Par exemple, au début du rapport Sherpa, on note une corrélation de 0,6 entre la sympathie envers le radicalisme et les intentions de radicalisme. Dans la matrice de corrélation mentionnée par les auteurs de la critique, on trouve une corrélation en haut de 0,8 entre le soutien familial et le soutien des amis. Donc des corrélations aussi hautes dans ce type d’étude ne démontrent que des trivialités.

Pour arriver à expliquer un comportement humain, on utilise des modèles multivariés afin de ne pas se réduire à un seul facteur d’explication. C’est l’unique façon d’obtenir un pourcentage d’explication intéressant de la variabilité du phénomène étudié.

Bref, si on applique la recommandation de M. Baillargeon et cie, la quasi-entièreté des travaux de recherche en sciences humaines serait à rejeter, et ceux des autres départements aussi…

Une association qui dérange

Les auteurs continuent :

« La corrélation entre radicalisation et religion n’est que de -0,12, ce qui revient à dire qu’il n’y a pas de lien entre ces variables. On ne peut donc aucunement tirer de ces données les conclusions qu’en ont tirées les auteurs en soutenant que l’absence de religion conduit à soutenir la radicalisation et que la religion est donc un facteur de prévention. Il s’agit là de sophismes présentés sous le couvert de statistiques malheureusement invalides. »

Cette corrélation de -0.12 est significative (valeur p de 0.01) et certes faible, mais tout de même réelle, c’est ce qu’affirme la méthode statistique. La conclusion est grotesque, les statistiques seraient invalides! Il m’est difficile de comprendre ce qu’on insinue ici.

Pour une analyse plus approfondie du lien, il faut regarder le tableau 15 en page 20 du rapport qui après contrôle pour l’âge et le sexe, montre un lien significatif (effet protecteur) entre religion et/ou religiosité (en bas du tableau 16 page 21) versus radicalisation. On remarque aussi que les jeunes non immigrants de cet âge se disent sans religion, même si catholiques de naissance. Or, nous savons qu’à cet âge, les jeunes peuvent être attirés par des organisations idéologiques un peu extrêmes plus fréquemment politiques (et plutôt athées) que djihadistes. Personnellement, un tel lien, s’il existe réellement, ne me déstabilise pas du tout, car il ne veut pas dire grand-chose.

Cependant, j’aurais mis certains bémols au sujet de ce lien étant donné qu’au tableau 12, page 58, il disparaît après contrôle d’un paquet d’autres facteurs.

Le reste de la critique dérape absolument :

« Par ailleurs, les répondants volontaires à cette enquête, dont 56 % se disent sans religion, ne constituent pas un échantillon de personnes radicalisées.  (…) Pour mettre en évidence un lien entre religion et radicalisation, il faut donc correctement construire l’échantillon, ce que n’a pas su faire le Sherpa. »

Or le titre de l’étude est Les déterminants individuels et sociaux du soutien à la radicalisation violente des collégiens et collégiennes au Québec.

Nul besoin de culture scientifique pour comprendre que les auteurs ne cherchent pas à élucider les effets de la religion sur la radicalisation chez des sujets déjà radicalisés; il suffit de lire le titre pour s’en convaincre. Ainsi le blâme se réduit au choix du sujet de recherche. Tout au plus la pertinence dudit sujet pourrait-elle susciter la critique, mais je ne crois pas que ça poserait problème à Sherpa; le sujet est en soi intéressant.

Enfin, à la défense des critiques du rapport, je reconnais que le traitement médiatique du rapport a été un échec. Le journalisme scientifique étant ce qu’il est, je n’en suis pas surprise. Il se peut toutefois que la responsabilité des chercheurs soit en cause, n’ayant pas pu faire en sorte que le message diffusé ne s’en tienne qu’aux réelles conclusions de l’étude.

En faisant une recherche Google non exhaustive de la couverture médiatique, j’ai trouvé des titres comme :

« La radicalisation violente pourrait être contrée par la religion, pas l’inverse »

« La religion : rempart contre la radicalisation »

Convenons que les débordements des titres de journaux sont une plaie, un autre exemple :

« Sherpa: un rapport aux graves lacunes méthodologiques »🙂

Enfin pour ceux que ça intéresse, la réponse de la part des auteurs de Sherpa est ici.

12 commentaires leave one →
  1. 12 novembre 2016 16 h 55 min

    Je doutais de la validité de cette critique (surtout de la mention sur la corrélation qui doit être supérieure à 0,6 pour vouloir dire quelque chose). Merci de valider et de documenter cette impression!

    En passant, selon le tableau 2.8.8, des pages numérotées 17 et 18 de ce document (Statistiques_enseignement_superieur_2014.pdf), 37 % des personnes qui fréquentaient le cégep en 2012 étudiaient dans la région administrative de Montréal (70 037/189 333)… Cette région ne compte peut-être que 25 % de la population, mais plein de jeunes de l’extérieur fréquentent ses cégeps. Dans ce sens, la proportion d’élèves montréalais dans l’échantillon (36,3 %) me semble adéquate. Donc si je comprends bien, non, Montréal n’est pas surreprésentée dans la population étudiée!

    Aimé par 2 people

  2. 12 novembre 2016 17 h 23 min

    Salut Jeanne, alors c’est possiblement encore mieux que ce que je pensais coté représentation. Cependant dans ce genre de devis je crois qu’il convient aussi d’avoir une bonne représentation au niveau 2, c’est à dire,au niveau des CEGEP. Je n’ai pas vérifié si les CEGEP échantillonnés étaient représentatifs de ceux de la province… Dans la mesure où ce qui se passe dans un CEGEP ne dois pas drastiquement changer par rapport à ce qui s’y passe dans un autre, j’ai tendance à penser que les résultats d’une représentation parfaite ne changeraient pas beaucoup.

    J'aime

  3. 12 novembre 2016 17 h 30 min

    Oui, c’est vrai. Je sais que c’est un détail, mais je voulaient simplement montrer que même certaines critiques de cet article qui semblaient fondées ne le sont pas!

    J'aime

  4. Mathieu Lemée permalink
    12 novembre 2016 18 h 11 min

    Un peu complexe par moments, surtout pour celui qui n’est pas calé en mathématiques ou en analyse statistique, mais pour formuler un postulat tautologique: l’essentiel est là pour comprendre et c’est là l’essentiel.😉

    J'aime

  5. 12 novembre 2016 18 h 46 min

    «surtout pour celui qui n’est pas calé en mathématiques ou en analyse statistique»

    Comme les auteurs de la lettre ici critiquée?😉

    Aimé par 1 personne

  6. Mathieu Lemée permalink
    16 novembre 2016 4 h 49 min

    Je ne critique jamais ce que je ne comprends pas entièrement sans avoir posé de questions!😉

    Aimé par 1 personne

  7. 16 novembre 2016 15 h 11 min

    Même si Baillargeon et al on mis la barre pas mal haute (pourquoi d’ailleurs?) cela n’empêche pas que -.13 (ou est-ce -.15?) est une corrélation très petite. En affirmant ensuite dans leur communiqué de presse que la religiosité est un facteur de protection, le SHERPA pousse un tantinet l’enveloppe. Par conséquent, l’affirmation dans le Devoir selon laquelle:

    « De même, les étudiants originaires du Québec, les personnes qui ne se réclament d’aucune religion et les migrants de deuxième génération expriment un plus grand soutien à la radicalisation violente que les personnes qui se réclament d’une religion et les immigrants de première génération. »

    …me semble aller plus loin que ce que les résultats de l’étude affirment.

    J'aime

  8. 16 novembre 2016 17 h 58 min

    Bonjour Guillaume, c’est bien vrai que c’est une faible corrélation, pas de quoi partir en peur….les médias ont dérapé comme je mentionne, ou bien les chercheurs ont mal contenu le message, des choses qui arrivent souvent…Cependant, tous les chercheurs interprètent le moindre résultat significatif en recherche, tant qu’on voit l’ampleur du coefficient, moi ça me va. Pour le coté médiatique, il m’arrive de travailler sur des projets de recherche (faire les analyses statistiques ) et de ne pas la reconnaître une fois étalée dans les médias! C’est un peu comme dans toutes les nouvelles, faut que ça « punch », c’est désolant. En fait, si j’avais à réviser ce rapport (cela m’arrive souvent de le faire) j’aurais critiqué ce tableau de corrélations au complet (tableau 11) parce que je ne crois pas qu’il prenne bien en compte la structure multiniveaux des données (le fait que les étudiants sont nichés dans des écoles). Cependant, un rapport n’est souvent pas le but ultime d’un travail de recherche. On est plus sévère sur les articles qui seront publiés dans les revues scientifiques.

    J'aime

  9. Richard Desjardins permalink
    22 novembre 2016 10 h 25 min

    Pourquoi ne pas envoyer votre billet au Devoir?

    J'aime

  10. 22 novembre 2016 17 h 22 min

    Parce que je ne veux pas emmerder la province au grand complet….Plus sérieusement, j’écris de temps en temps, par loisir….Et puis, il était plus important de publier la réponse du groupe Sherpa qui se sont assez bien défendus.

    Aimé par 1 personne

  11. 28 novembre 2016 9 h 31 min

    Bonjour!

    Victorine du centre SHERPA. Ouf, ça fait du bien de tomber sur du monde qui ont pris la peine de vraiment lire notre rapport, et qui s’y connaissent suffisamment en statistiques pour souligner les apories des critiques dont notre rapport a fait l’objet.
    Pour vous répondre sur le traitement médiatique de notre rapport: effectivement, le lien avec la religion a été surreprésenté par les médias par rapport à nos autres conclusions, qui étaient tout aussi importantes si ce n’est plus (je pense ici au rôle de la détresse psychologique comme facteur de risque, et à la nécessité de renforcer les services psychosociaux de proximité dans les cégeps, entre autres). Nous nous y attendions, et malgré toutes nos précautions pour contenir cette conclusion à sa juste place et préciser autant que possible son interprétation, elle a été poussée, reformulée, et parfois complètement déformée par certains médias…
    Merci pour votre lecture attentive, et pour le soin que vous avez mis à restaurer certains faits qui nous sont chers.
    Victorine

    J'aime

  12. 28 novembre 2016 20 h 48 min

    Merci Victorine pour votre réponse.

    J'aime

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :