Le bruit

Avec leur livre Noise – pourquoi nous faisons des erreurs de jugement et comment les éviter, Daniel Kahneman, Olivier Sibony et Cass R. Sunstein montrent «que le bruit exerce des effets nocifs dans de nombreux domaines : médecine, justice, protection de l’enfance, prévision économique, recrutement, police scientifique, stratégie d’entreprise… » et proposent «des solutions simples et immédiatement opérationnelles pour réduire le bruit dans nos jugements et prendre de meilleures décisions».

Introduction – Deux types d’erreurs : Les auteurs expliquent la différence entre souffrir d’un biais cognitif et être sujet au bruit (noise en anglais et, semble-t-il, en France, mais seulement pour le titre!), ce qui n’exclut pas qu’une personne peut subir les deux. Si l’existence et la nature des biais sont relativement bien connues et documentées, celles du bruit ne font justement pas de bruit. Ils donnent ensuite quelques exemples de bruit, puis présentent les objectifs et la structure de ce livre.

Première partie – Détecter le bruit

1. Crime et châtiment : Les auteurs analysent la diversité des sentences pour des crimes semblables (avec dans certains cas des écarts énormes), parfois par les mêmes juges.

2. Un bruit systémique : Les auteurs analysent la diversité des primes établies par les souscripteur.trices des sociétés d’assurances et de la valeur des dommages évaluée par les expert.es en sinistres. Ils font ensuite la distinction entre la variabilité indésirable et la diversité souhaitable, et expliquent le concept d’accord illusoire qui est une conséquence de l’inaudibilité du bruit.

3. Les décisions singulières : Si le bruit peut se faire voir quand on compare des décisions, il est encore plus invisible pour les décisions singulières pour lesquelles il n’y a pas de comparaisons possibles. Les mesures pour réduire le bruit sont toutefois les mêmes dans les deux cas.

Deuxième partie – Votre esprit est un instrument de mesure

4. Questions de jugement : Les questions de jugement professionnel se caractérisent par une «anticipation de désaccord limité». Qu’il y ait des désaccords entre expert.es est normal, mais pas trop. Les auteur.es font ensuite la distinction entre les variabilités interindividuelles (entre plusieurs personnes) et intra-individuelles (une même personne dans des moments différents), et entre des jugements prédictifs vérifiables et invérifiables. Ils abordent finalement les jugements évaluatifs (comme les sentences du premier chapitre, le recrutement de personnel, la correction de thèses de doctorat, la note attribuée à un film, etc.).

5. Mesurer l’erreur : Les auteurs présentent une méthode pour «mesurer les contributions respectives du biais et du bruit à l’erreur».

6. L’analyse du bruit : Les auteurs analysent deux types de bruit (le bruit de niveau, c’est à dire l’écart par rapport à la moyenne dans un cas, et le bruit de pattern, c’est-à-dire par rapport à la différence entre les cas) et les facteurs qui les expliquent dans les sentences pour des crimes semblables et différents (16 cas-types) au cours d’une expérience tenue auprès de 208 juges aux États-Unis. Ils ajoutent que cette expérience ne permet pas d’évaluer le bruit occasionnel (voir le chapitre suivant) ni les biais racistes, de classe ou autres relatifs aux personnes mises en accusation.

7. Le bruit occasionnel : Le bruit occasionnel peut venir d’un grand nombre de situations qui font en sorte que le jugement d’une même personne sur un même sujet peut varier. Cela dépend en premier lieu de l’humeur, mais aussi du stress et de la fatigue, de l’état de santé, d’événements inattendus, de la météo, du moment de la journée, des jugements qu’elle vient de poser (quoiqu’il s’agisse ici plus d’un biais cognitif que de bruit), du fonctionnement de notre cerveau, etc. Ce bruit est difficile à mesurer par des expériences comme celle du chapitre précédent, car les personnes se souviendront de leur décision précédente et éviteront de la modifier. Mais d’autres méthodes dans d’autres types de jugements le permettent, comme nous l’expliquent les auteurs avec quelques exemples.

8. Les groupes et le bruit : Le bruit dans les jugements produits par des groupes est encore plus préoccupant que celui provenant de jugements individuels, car ces jugements sont un des moyens de réduire le bruit de jugements individuels grâce à la sagesse des foules. Pourtant leur bruit est parfois encore plus important, notamment en raison de l’influence sociale (dont la cascade informationnelle et la polarisation de groupe) qui peut se manifester dans une foule de domaines allant des arts à la politique. En fait, la sagesse des foules fonctionne mieux quand les décisions se prennent sans connaître celles des autres, sinon, cela peut devenir l’inverse.

Troisième partie – Le bruit dans les jugements prédictifs : Les auteurs expliquent le pourcentage de concordance et sa relation avec le coefficient de corrélation, outil que les auteurs utiliseront fréquemment dans les prochains chapitres.

9. Jugements et modèles : Les auteurs expliquent la différence entre des prévisions basées sur le jugement et celles basées sur des modèles. Les deuxièmes, les prévisions mécaniques, sont les plus efficaces. Ils abordent aussi l’illusion de validité et la plus grande efficacité des modèles de jugements que des jugements qu’ils imitent (car ils respectent les processus de ces jugements, mais sans bruit).

10. Le silence des formules : Comme les modèles et les algorithmes sont plus efficaces que le jugement humain, car exempts de bruit, il est important de bien les comprendre. Dans cette optique, les auteurs présentent diverses formes de modèles, des plus simples aux plus complexes, et mentionnent quelques raisons qui expliquent que nous soyons réticents à les utiliser.

11. L’ignorance objective : Les gens sont en général fiers de leurs intuitions et surestiment leurs résultats quand ils les utilisent. En plus, ils tiennent rarement compte de l’ignorance objective, soit sur des facteurs qui ne font pas partie des informations qu’ils détiennent ou qu’ils ne peuvent pas connaître (dont l’incertitude de l’avenir). Les auteurs ajoutent qu’on ne devrait pas se désoler du fait que des prévisions lointaines sont erronées, mais éviter d’en faire. Les modèles de ce genre ne sont d’ailleurs pas meilleurs.

12. Dans la vallée des Choses Normales : L’impression de comprendre des événements que nous n’avons pas pu prévoir est une autre forme d’ignorance objective. Cette impression vient souvent de la confusion entre des corrélations et causalités. Les auteurs montrent la fausseté de cette impression en donnant des exemples de la difficulté de prévoir des trajectoires de vie à partir de bases de données pourtant très détaillées, car tellement de choses inattendues (ou pas «normales») peuvent se passer. Comme ces événements ne sont pas rares, on peut avoir l’impression par après qu’ils étaient prévisibles. Mais, il y a tellement de possibilités qu’on ne peut pas toutes les prévoir.

Quatrième partie – D’où vient le bruit

13. Heuristiques, biais et bruit : Les opérations heuristiques sont produites par la pensée rapide et intuitive, le système 1 (voir ce livre et les deux billets que je lui ai consacrés), qui, bien que pratique et souvent efficace, est sujet aux biais cognitifs. Les auteurs présentent quelques-uns de ces biais, puis montrent comment ils peuvent produire du bruit.

14. Équivalences : On peut établir des équivalences d’intensité entre des sujets complètement différents, comme le talent d’un chanteur et la hauteur d’un édifice. Cette aptitude est utile, mais peut engendrer des problèmes de cohérence et des biais, comme le montrent les auteurs.

15. Échelles : Les auteurs expliquent qu’il est important de bien comprendre les échelles d’évaluation avant de se prononcer sur l’intensité qu’on accorde à un sujet ou à un événement. Ils donnent des exemples de leur mauvaise utilisation, ce qui engendre un niveau de bruit très élevé.

16. Patterns : À l’aide d’exemples de prévisions faites à partir d’éléments incohérents, les auteurs expliquent les sources et les caractéristiques des erreurs et du bruit de pattern en les opposant aux erreurs et au bruit occasionnels.

17. Les composantes du bruit : Les auteurs passent en revue les analyses des chapitres précédents pour préciser les sources des erreurs de jugement : les biais et le bruit systémique (qui ont en moyenne un poids assez égal sur l’erreur), lui-même divisé en bruit de niveau et en bruit de pattern (qui pèse en général davantage que le bruit de niveau), et ce dernier divisé en bruit de pattern stable et en bruit occasionnel (qui pèse en général moins, car pas toujours présent). Ils expliquent ensuite ces différences de poids et les facteurs qui font en sorte qu’on se préoccupe trop peu du bruit.

Cinquième partie – Améliorer les jugements

18. De meilleurs juges pour de meilleurs jugements : Les «meilleur.es» juges sont les juges qui sont le moins sujet.tes aux bruits et aux biais. Les auteurs présentent les qualités qui permettent à ces juges et à d’autres expert.es d’être les «meilleur.es».

19. Réduction des biais et hygiène de la décision : Les auteurs donnent des exemples des mesures et stratégies pour réduire les biais et le bruit.

20. Police scientifique – le séquencement de l’information : L’identification des empreintes digitales n’est pas une science exacte, mais un jugement. Comme tout jugement, il comporte son lot de biais et de bruit et peut mener à des erreurs importantes souvent en raison d’idées préconçues. Il est toutefois possible d’atténuer ces biais et ce bruit notamment grâce au séquencement de l’information.

21. Prévision – L’agrégation et la sélection : Le bruit et les biais sont au maximum chez les prévisionnistes. S’il y a de bons moyens de les réduire ex post (par des agrégations de prévisions, comme des moyennes de prévisionnistes), il est plus difficile d’agir en prévention, ce qui serait préférable. Les auteurs montrent que, s’il est possible de former des prévisionnistes, la sélection des personnes qui possèdent au départ les qualités recherchées est la mesure qui a plus de succès.

22. Médecine – les directives : Il y a aussi beaucoup de bruit dans les diagnostics des médecins et dans les traitements qu’ils proposent. Les auteurs analysent les mesures prises par le corps médical pour réduire ce bruit, notamment avec des directives.

23. Évaluation de la performance – le choix de l’échelle : Dans ce type de jugement, qui est souvent détesté autant par les personnes qui sont évaluées que par celles qui évaluent, le bruit est vraiment assourdissant et il peut être dû à toutes les catégories de bruits (niveau, pattern et occasionnel). Les mesures pour atténuer ce problème en créent souvent d’autres, dont de la lourdeur et de l’inefficacité, mais l’utilisation d’échelles précises d’évaluation semble être la moins mauvaise selon bien des études.

24. Recrutement – la structuration des jugements complexes : Ce type de jugement ressemble au précédent, mais avec encore moins de repères précis et une évaluation de la réussite effectuée avec une méthode elle aussi basée en bonne partie sur le jugement (l’évaluation de la performance) des personnes retenues (on ne sait rien des personnes rejetées). En plus, si cet exercice est fortement influencé par les biais des recruteur.trices, le bruit de pattern lié à leurs préférences est dominant. Les auteurs décrivent ensuite en détail la méthode de structuration des jugements complexes comme mesure permettant de réduire ce bruit, méthode trop complexe pour que je puisse la résumer ici.

25. Le protocole d’évaluations intermédiaires : L’analyse de ce protocole permet d’approfondir celle du chapitre précédent sur les avantages de structurer des jugements, surtout complexes. D’ailleurs, l’exemple choisi par les auteurs est l’utilisation de ce protocole dans une décision d’un conseil d’administration sur l’acquisition d’une autre entreprise en décomposant l’étude des critères d’évaluation pour les aborder un par un de façon indépendante pour éviter que l’étude d’un critère influence celle des autres. Cette méthode est un exemple d’hygiène de la décision, concept brièvement abordé au chapitre 19.

Sixième partie – Le bruit optimal

26. Les coûts de la réduction du bruit : La première objection aux mesures de réduction du bruit est qu’elles sont coûteuses et nécessitent d’investir plus de temps aux jugements, notations ou décisions, pour des avantages qui sont souvent considérés comme mineurs (puisqu’on sous-estime en général l’ampleur du bruit) ou inexistants, et qui peuvent parfois l’être, tout dépendant du domaine et des mesures. Les auteurs analysent ensuite les avantages et désavantages de l’utilisation d’algorithmes.

27. Une affaire de dignité : Une autre objection aux mesures de réduction du bruit est qu’elles peuvent porter atteinte à la dignité humaine, reproche auquel il faut bien sûr accorder beaucoup d’attention. Des directives peuvent aussi ne pas s’adapter à l’évolution des valeurs de la société, être trop faciles à contourner, être trop ou pas assez précises, ne pas laisser place à l’innovation et à la créativité, etc. En fait, elles doivent être adaptées à leur sujet et être bien conçues.

28. Des règles ou des principes : Selon la situation et les enjeux auxquels elle fait face, une organisation peut aussi bien avoir intérêt à adopter des règles fixes ou des principes, en acceptant dans ce deuxième choix la présence d’au moins un peu de bruit. Les auteurs donnent quelques exemples des conséquences du choix entre des règles (et le type de règles) et des principes.

Synthèse et conclusion – Prendre le bruit au sérieux : Les auteurs reviennent sur leurs principaux constats, ce qui nous permet de mieux voir le portrait général de leur approche qui, en découpant les sujets par tranches, pouvait étourdir. Ils concluent que, même si sous-estimé, le bruit est un problème important et qu’il est traitable.

Épilogue – Moins de bruit : Les auteurs imaginent un monde dans lequel le bruit est réduit. Cela permettrait des économies importantes, mais surtout «d’améliorer la santé publique, de rendre la justice plus équitable, et de manière générale de prévenir de nombreuses erreurs évitables».

Annexes : Ces trois annexes développent sur la façon de conduire un audit du bruit, sur une liste de vérification utile pour observer une décision et sur les façons de corriger les prévisions intuitives.

Et alors…

Lire ou ne pas lire? Lire, mais avec moins d’enthousiasme que Système 1, système 2 – Les deux vitesses de la pensée, même si ces deux livres se complètent bien. D’une part, ce livre est moins bien structuré que le précédent, notamment parce que quelques chapitres proviennent de textes publiés auparavant de façon indépendante et qui ne se lient pas de façon fluide aux autres. Cela entraîne plusieurs répétitions ainsi que des retours fréquents sur des sujets déjà abordés, comme on a peut-être pu le remarquer en lisant ce billet. Un des auteurs (Kahneman) a dit lui-même dans une entrevue que ce livre est prématuré, mais qu’il a tenu à le publier parce qu’il n’a pas 20 ans à consacrer à ce sujet, comme il aurait aimé et dû le faire (il a 88 ans…). Cela dit, ce livre nous en apprend énormément sur un phénomène auquel on n’accorde en général pas assez d’importance. En fait, il permet de conceptualiser des phénomènes bien connus (qui ne sait pas que les entrevues d’embauches, les évaluations du travail, la notation d’examens ou les sentences des juges sont souvent inéquitables?) et de leur donner un nom, ce qui est déjà beaucoup. Si les auteurs exagèrent quand ils parlent d’un phénomène inconnu, il est vrai qu’on imagine difficilement qu’il est possible de corriger ces situations et qu’on fait rarement le lien entre ces phénomènes qu’on associe trop à des anecdotes indépendantes alors qu’ils sont systémiques. Par ailleurs, j’ai bien aimé que chaque chapitre se termine par un résumé de ses faits saillants. J’ai aussi bien aimé la conclusion qui permet de faire le lien entre les chapitres qui pouvaient parfois sembler décousus. Finalement, je déplore le fait que les 425 notes, surtout des références, mais aussi des compléments d’information parfois substantiels, sont à la fin du livre.