Aller au contenu principal

Les cibles

28 septembre 2010

Par Darwin – Y a-t-il quelque chose de plus excitant qu’un indicateur ? Ah, ces jolis petits chiffres qui peuvent nous dire en un seul coup d’œil tout ce qu’on veut savoir d’une chose sans oser le demander… Mais, on ne peut atteindre l’apothéose qu’en utilisant toute une série d’indicateurs, en leur ajoutant disons 10 % des résultats passés (ou 20 % si on veut avoir l’air de quelqu’un de vraiment ambitieux) et en les transformant en objectifs qu’on impose ensuite à des gestionnaires. Il deviennent ainsi des cibles à atteindre…

Les indicateurs

En fait, un indicateur ne dit pas tout. Il a la singulière propriété de ne dire… que ce qu’il dit ! C’est drôle, mais, peu importe le domaine, des indicateurs ne peuvent faire plus que de fournir des indications, comme leur nom l’indique. Utilisés de façon systématique, ils réduisent la complexité des problèmes à des données brutes sans nuances. Encore pire, utilisés en gestion, ils peuvent conduire à des résultats diamétralement opposés à leur raison d’être.

Par exemple, il y a une quinzaine d’années, un certain nombre de commissions scolaires ont choisi de rendre plus sévères les critères d’admissibilité des élèves aux examens du ministère de l’Éducation, du Loisir et du Sport (MELS, MEQ à l’époque…). Ils ont décidé d’exiger des élèves une moyenne d’au moins 50 % dans les examens précédents pour pouvoir être autorisés à participer aux examens officiels du ministère, alors que ceux-ci étaient auparavant autorisés à y participer dès qu’ils avaient une possibilité mathématique de réussir le cours. On a ainsi exclu ainsi un bon nombre d’élèves qui avaient pourtant encore des possibilités de réussir leur cours. L’objectif de ces commissions scolaires ? Améliorer leur classement provincial, et leur indicateur en la matière (moyenne des élèves).

Est-ce que cette décision amenait la moindre amélioration à la qualité de l’enseignement ou à la maîtrise des objectifs pédagogiques? Bien sûr que non. Mais, ce stratagème permettait à ces commissions scolaires d’améliorer leur classement au palmarès provincial des commissions scolaires (c’était avant celui de l’IÉDM-Actualité). Mais la moyenne des élèves participant à ces examens était plus élevée. Mais, les indicateurs étaient plus satisfaisants. Alors… est-ce bien grave que des élèves aient été exclus de ces examens même s’ils avaient encore des possibilités de se rattraper et de ne pas être obligés de reprendre à zéro un cours ? L’indicateur étant la cible, bien des élèves furent atteint d’une flèche égarée…

Bon, cette horreur a par la suite été interdite. Fiou, il y a encore des gens qui regardent au delà des chiffres… Cet exemple laisse toutefois songeur. En général, un indicateur fait bien son travail lorsqu’il est utilisé à posteriori. Par contre, lorsqu’on l’utilise comme cible, bien des gestionnaires viseront l’amélioration de l’indicateur plutôt que celle de la situation qu’il est supposé décrire. Et cela n’est pas le cas que dans le monde de l’éducation…

Les cibles

Face aux critiques du taux de décrochage élevé au Québec, les ministres de l’éducation ont adopté diverses mesures ou programmes pour tenter de redresser la situation. Mais sans cible, aucun programme n’a l’air assez sérieux. J’ai déjà participé à ce type d’exercice dans une école secondaire dont j’étais le président du conseil d’établissement.

Pour recevoir la subvention dans le cadre du programme Agir autrement, il fallait tout d’abord faire un diagnostic à l’aide des indicateurs des années précédentes et d’une description statistique de la clientèle, ce qui est tout à fait sensé. Puis, il fallait mettre des cibles… ce qui l’est moins. Peu importait le résultat du diagnostic, il fallait prévoir une amélioration de la diplomation. Le diagnostic montrait que la «clientèle» s’alourdissait en raison de la ponction de plus en plus forte des «meilleurs » élèves par les écoles privées et publiques qui sélectionnent les élèves ? Pas grave, il fallait mettre des cibles plus élevées…

Et il fallait écrire des pages pour décrire en détail ce que l’école ferait avec les sommes insuffisantes qu’on lui accordait pour atteindre ces cibles. Que l’école ne contrôle qu’une faible partie des facteurs qui expliquent la persévérance et le décrochage n’avait pas d’importance. Que l’école ne soit en fait en mesure de rendre compte que des moyens pris pour améliorer la situation, on n’en avait cure, on ne jurait que par l’obligation des résultats.

Et là, on s’obstine sur les cibles à atteindre. La nouvelle cible (80 % d’élèves diplômés du secondaire avant 20 ans d’ici 2020, par rapport à 72 % actuellement) est moins élevée que la précédente (85 % d’ici 2010…), quelle horreur ! On aurait dû viser 90 %, cela aurait été tellement plus ambitieux ! Le gouvernement fédéral n’a-t-il pas visé une baisse de 80 % du niveau d’émission des gaz à effet de serre d’ici 2050 ? Ça, c’est de l’ambition, madame ! Quel moyen a-t-il adopté pour atteindre cette cible ? Euh…

Alors…

Alors, quand on voit une cible ambitieuse, ce n’est pas nécessairement une preuve de sérieux, bien au contraire. D’une part, on risque de viser l’indicateur plutôt que ce qu’il mesure. De l’autre, il y a des possibilités que cela ne soit que de la poudre aux yeux.

Je vais terminer avec un emprunt d’une phrase tirée d’une lettre au Devoir de Claude-André Guillotte et André Martin sur un tout autre sujet :

« …la finalité de nos organisations publiques et privées, tout comme les indicateurs de performance qui servent à les évaluer, ne se définit dorénavant que quantitativement. À force de mesurer ce qu’on valorise, on valorise ce qu’on mesure… »

21 commentaires leave one →
  1. Déréglé temporel permalink
    28 septembre 2010 18 h 26 min

    Bon billet. Je te le dis au cas où l’absence de coms jusqu’à maintenant te ferais douter 😉

    J'aime

  2. 28 septembre 2010 19 h 26 min

    En tout cas, y’a bien du monde qui devrait lire l’excellent dossier sur l’éducation que Le Devoir a présenté en fin de semaine dernière. J’en peux plus d’entendre que la vie était plus meilleure avant la révolution tranquille! La synthèse historique y est fort bien présentée. Allô, les analystes? Le Devoir, vous connaissez?

    Excellent billet Darwin, j’ai beaucoup aimé.

    J'aime

  3. 28 septembre 2010 20 h 35 min

    @ Déréglé

    «Je te le dis au cas où l’absence de coms jusqu’à maintenant te ferais douter »

    J’ai gagné en confiance depuis quelque temps ! Je me souvenais que tu avais déjà mentionné que l’absence de commentaire ne voulait pas dire désintérêt (d’où ton clin d’oeil, j’imagine). C’est ce que je me disais avec ce billet que j’ai eu du plaisir à écrire. Cela dit, cela n’est pas désagréable d’avoir une ou deux réactions !

    @ Luto

    «En tout cas, y’a bien du monde qui devrait lire l’excellent dossier sur l’éducation que Le Devoir a présenté en fin de semaine dernière.»

    C’était en effet excellent pour remettre en perspectives la situation actuelle avec la grande noirceur passée. Si les nostalgiques du bon vieux temps où on apprenait le français en faisant des dictées pouvaient lire cela… Dans ce temps-là, les gens ne faisaient pas de fautes quand ils écrivaient, ils n’écrivaient pas !

    J'aime

  4. jack permalink
    29 septembre 2010 19 h 45 min

    Personnellement, je partage l’opinion d’Einstein: « Not everything that can be counted counts, and not everything that counts can be counted »

    Et par conséquent je suis du même avis que toi, Darwin.

    Désolé de na pas pouvoir apporter plus au débat…

    Ah et puis tiens… pourquoi pas?

    Allons-y pour un exemple…

    Dans les années 80 je magasinais pour un système de son. Une des spécifications mises en valeur par les fabricants était le taux de distorsion harmonique totale (dht).

    Il est facile de comprendre que pour un amplificateur la distorsion est un défaut. Alors moins il y a de dht, meilleur est l’ampli.

    En théorie. Un spécialiste m’a expliqué que le taux de dht était mesuré à une fréquence précise: à 1000 Hz. L’ampli pouvait être excellent selon les specs à 1000 Hz mais produire un son pourri dans l’ensemble si le fabricant visait les specs. Par conséquent il fallait se méfier des specs.

    Ça fait donc 25 ans que je me méfie des specs et par extensions des indicateurs.

    Tranche de vie.

    Qui donne une indicateur de mon âge. Mais que vaut cet indicateur?

    ;o)

    J'aime

  5. 29 septembre 2010 22 h 06 min

    @ Jack

    Merci pour cet exemple. Il me fait penser aux chips sans cholestérol ! Je me souviens un peu des termes pour les amplis, mais cela date aussi pour moi ! Comme j’avais des amis crack dans le domaine, je me fiais à eux…

    «Mais que vaut cet indicateur?»

    Pour moi, un indicateur veut toujours dire quelque chose, mais seulement ce qu’il dit. Le problème, quand il y a problème, est dans l’interprétation que certains en font.

    J’ai des collègues qui disent que certains indicateurs (ou certaines données) sont pourri(e)s. Je répond toujours que cela dépend de ce qu’on veut faire avec ces données. Je me répète, elle ne disent que ce qu’elles disent, pas ce qu’on voudrait bien qu’elles disent !

    J'aime

  6. 1 octobre 2010 17 h 46 min

    La Presse a publié aujourd’hui un éditorial qui montre comment on peut jouer avec les indicateurs. Les nouveaux indicateurs ne sont pas faux, mais indiquent simplement autre chose !

    http://tinyurl.com/28w6u6d

    J'aime

  7. clopp permalink
    2 octobre 2010 0 h 10 min

    Brillant et limpide comme billet.

    Ceci dit, si les indicateurs d’augmentation d’émission de CO2 sont en hausse, comment fait-on pour mesurer l’efficacité des mesures prises pour engendrer leur baisse?

    J'aime

  8. koval permalink*
    2 octobre 2010 8 h 58 min

    L’indicateur en soit est toujours bon pour moi, c’est d’ignorer ce que cet lndicateur mesure exactement et ce qu’il ne mesure pas qui constitue le problème….

    J'aime

  9. 2 octobre 2010 9 h 19 min

    @ Clopp

    «Brillant et limpide comme billet.»

    Pas tout à fait assez limpide, semble-t-il… Je pense exactement comme le commentaire de Koval là-dessus, je croyais avoir été clair. J’ai d’ailleurs écrit une phrase presque identique à son com : «Pour moi, un indicateur veut toujours dire quelque chose, mais seulement ce qu’il dit. Le problème, quand il y a problème, est dans l’interprétation que certains en font.»

    «comment fait-on pour mesurer l’efficacité des mesures prises pour engendrer leur baisse?»

    On utilise des indicateurs, bien sûr ! Et dans ce domaine, des cibles peuvent être efficace, si elles sont accompagnées de mesures incitatives et coercitives, par exemple des hausses de taxes et un marché du carbone.

    Aimé par 1 personne

  10. Déréglé temporel permalink
    7 octobre 2010 9 h 58 min

    Illustration:
    http://tiny.cc/muros

    J'aime

  11. Déréglé temporel permalink
    22 février 2011 15 h 03 min

    Y’a Rima qui aborde le thème:

    http://tiny.cc/igd8h

    J'aime

  12. 22 février 2011 15 h 41 min

    Je vous voyais plus jeune en raison de votre avatar.

    So watts en matière de son! Autre temps, autres chiffres.

    J'aime

  13. 22 février 2011 19 h 16 min

    «Y’a Rima qui aborde le thème»

    Oui, j’ai lu aujourd’hui. Merci pour les lecteurs.

    J'aime

  14. 28 mai 2014 1 h 49 min

    Bon, Lagacé qui me copie, avec plus de trois ans de retard! 😉

    http://www.lapresse.ca/debats/chroniques/patrick-lagace/201405/27/01-4770135-la-tyrannie-des-quotas.php

    Aimé par 1 personne

Trackbacks

  1. Pour un système de santé efficace et humain «
  2. Pour un système de santé efficace et humain | Politicoglobe
  3. Petit éloge de l’anarchisme |
  4. La reddition de comptes en éducation aux États-Unis |
  5. Pourquoi la société ne se laisse pas mettre en équations |
  6. Algorithmes : la bombe à retardement |
  7. Big Data : faut-il avoir peur de son nombre? |

Votre commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l’aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l’aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l’aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l’aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

%d blogueurs aiment cette page :