Le scandale des médias autour de l'information chiffrée : l'exemple de la notation du baccalauréat
En ce moment l'école est en ligne de mire des médias , le sujet intéresse et la façon de présenter les informations n'est pas anodine. Les médias traditionnels n'en sont pas à leurs coup d'essai. A tel point que l'on se sent presque dans l'obligation de redresser toutes les données chiffrées et de ne pas publier les informations scientifiques aux titres faussement accrocheurs.
Lors des élections présidentielles j'avais fait une note concernant les réserves obligatoires à prendre lorsque des résultats de sondages sont proches pour des candidats. C'est ICI.
Il existe beaucoup d'autres cas où l'information n'est pas présentée telle qu'elle devrait l'être comme par exemple, celles traitant du prix du pétrole ou de l'augmentation des traitements des fonctionnaires.
J'ai trouvé aussi un article surprenant au titre ambigu " La finance est anormale " faisant la confusion entre la normalité mathématique et l'anormalité prise dans son sens courant, différence que seuls des spécialistes peuvent relever. Cela n'aurait pas été bien grave si ça n'avait été qu'un jeu de mot dans le texte mais c'est bien du titre dont il s'agit.
Nous ne sommes pas sans remarquer, que si le titre des Unes était important dans la presse traditionnelle écrite, cette surimportance du titre, associée au buzz du 2.0 avec Internet, affecte non plus seulement les informations principales mais bien toutes les informations. Produire un titre raccoleur devient presque un exercice "d'école" et un passage obligé sur le Net. Je ne déroge pas à la règle avec le choix du titre de cette note !
Il faut donc faire du "sensationnel" dès le titre de l'information et c'est bien ce que font 6 quotidiens nationaux ( et pas des moindres ! ) qui relaient le même jour une pseudo-information sous des titres accrocheurs tournant autour de celui d'un document de travail dont le titre ne l'est pas moins: " La loterie des notes du bac - un réexamen de l'arbitraire de la notation des élèves ".
Avant de rentrer dans le vif du sujet on peut se poser à juste titre quelques questions:
Comment ces quotidiens ont-ils appris l'existence de ce document qui n'est pas un rapport mais un document de travail ?
Un document de 18 pages est-il censé être une étude qui épuise le sujet pour qu'il fasse ainsi l'accroche d'autant de quotidiens ?
L'université dont le document est issu cautionne-t-elle ce document et ses conclusions pour le moins partisanes et le titre orienté de ce document?
Cette étude se veut-elle scientifique et objective ?
Etc...
( Une sévère mise au point est d'ailleurs présente ICI , je l'ai trouvée après la rédaction de cette note au titre clair " Une imposture intellectuelle " !, on trouvera un article sur ce sujet ICI aussi ).
Je ne commencerai pas l'explication de texte par l'analyse du titre du document et des ambiguités qui en découlent mais la laisse au soin du lecteur en guise de conclusion .
Dans ces titres accrocheurs est maintenue la confusion entre hasard et injustice pour servir une conclusion finale qui serait, je caricature un peu mais pas trop, de supprimer les notes, le baccalauréat et de n'évaluer que par des QCM qui introduiraient moins de biais de notation.
Le fait qu'un examinateur ne soit pas toujours cohérent avec lui-même ni avec ses pairs est connu depuis bien longtemps dans le domaine de la docimologie ( 1932 ) et il me semble que si il y avait une information nouvelle à donner au public, il s'agirait plutôt d'expliquer les systèmes naturels et ceux mis en oeuvre pour palier ce constat plutôt que de vouloir jeter la pierre sur cette épreuve, du moins avec ce type d'arguments. La page "docimologie" de Jacques Nimier est disponible depuis bien longtemps sur le Net. Moins polémique elle est en outre très explicative sur la relativité à apporter à la notation et à son interprétation.
L'évaluation est un domaine complexe qui ne doit pas être réduit à une simple caricature et quelques titres accrocheurs. Le Québec qui avait d'ailleurs abandonné les notes et l'évaluation en cours de formation est revenue récemment sur ce principe : ICI et l'explication de cette nouveauté aux élèves est donnée ICI par Gilles Jobin.
On sait donc depuis bien longtemps que dans l'opération d'évaluation d'une épreuve rédigée, un correcteur n'est pas toujours cohérent avec lui-même sur la durée, entre les individus et qu'il n'est pas nécessairement cohérent avec ses pairs non plus. Dit comme ça, cela laisserai à penser qu'évaluer un élève est impossible et que la notation d'un examen serait pure supercherie. C'est cependant oublier le fait que ce biais de notation est justement "aléatoire" comme le précisent les titres accrocheurs et comme l'annonce la page 1 du document, c'est à dire qu'il n'est pas orienté. Si un correcteur sous-évalue un devoir, il y a de grandes chances qu'il en surévalue un autre. Si un correcteur sous-évalue un élève, il y a de grandes chances qu'un autre correcteur le surévalue. Les "écarts" à la note moyenne attendue se compensent asssez bien en moyenne puisque certains sont positifs et d'autres négatifs. Je suis aussi surpris de trouver le mot "aléatoire" dès la première page de ce document qui possède un sens mathématique bien précis et qui me semble être un abus de langage notoire dans ce contexte.
L'étude statistique qui est donnée dans ce document est celle très connue visant à montrer ce qui l'était déjà depuis 1932, c'est à dire et je me répète, qu'un correcteur n'est pas forcément cohérent avec ses collègues et qu'il peut exister un écart important entre les notes de chacun des correcteurs pour une même copie rédigée et évaluée. Il aurait été plus intéressant de reproduire une expérience permettant de s'approcher des conditions d'évaluation du Bac actuel , c'est à dire de montrer qu'en prenant des correcteurs au hasard corrigeant chacun une copie de leur matière d'un même échantillon , puis en formant des jurys au hasard ( le vrai celui-là), les écarts entre les moyennes obtenues sont assez faibles et ce d'autant plus que l'on multiplie le nombre de matières et que l'on ajoute des points au dessus de la moyenne sur quelques options.
Les résultats d'une expérience qui vise à étudier la dispersion de la notation d'une même copie par plusieurs enseignants avec celle rassemblant un groupe de plusieurs correcteurs qui corrigent chacun un certain type de copie et dont on fait la moyenne ne sont pas du tout de la même nature.
Dans la seconde expérience, une fois enregistrés les biais de correction qui, comme le souligne l'expérience, sont "aléatoires" - en fait ce sont eux qui sont aléatoires et non la note elle même - se compensent en moyenne et il faut pousser jusqu'à la conclusion : c'est bien le facteur " hasard et aléatoire" qui permet de justifier l'effecacité du système de notation du baccalauréat et non de le dénoncer. Le bac n'est pas une épreuve de notation des correcteurs mais bien des copies des élèves, c'est donc une expérience de ce tye qu'il faut produire pour conclure sur ce sujet.
D'autres débats pourraient être lancés mais il me semble que celui dont il est question ici est clos et je suis surpris que les médias n'aient pas plus de réserve quant à la publication de telles informations. mais peut-être manquent-ils de scientifiques permettant de décoder cette information.
Afin de compléter cette note, je joins un fichier Excel avec les données du rapport (qui ne sont pas des copies de bac visiblement). Je compose 32 jurys de façon arbitraire par un décalage des colonnes de notation d'une cellule vers le haut pour les 2èmes et 5èmes et de deux cellules vers le haut pour les 3èmes et 6èmes colonnes. 32 jurys de 6 personnes choisies arbitrairement notent ainsi 6 copies identiques. Nous pouvons étudier l'écart entre les moyennes données par ces différents jurys et la moyenne attendue ( j'ai choisi la moyenne de tous les correcteurs 10,13 dont on peut supposer qu'elle soit une valeur de référence).
En considérant que l'on affecte à chaque note le même coefficient, l'écart moyen à la moyenne attendue est de 0.79 point et de 0.68 point si l'on enlève les 10 % de donnés extrêmes.
On peut donc considérer que sur tous les jurys, la moitié sous-noterai les élèves en moyenne de 0.79 point et l'autre moitié les surnoteraient de 0.79.
D'autre part, considérant que l'oral de rattrapage est à 8 soit bien au dessous de la moyenne ( de 2 points rapportés aux 0.79 de biais théorique), qu'il y a des commissions d'harmonisation dans toutes les disciplines, des lignes téléphoniques spéciales pour aider les correcteurs, que les dossiers sont étudiés de près par les jurys surtout lorsqu'ils sont refusés au premier tour , que les notes sont arrondies bien souvent au point entier supérieur, et que la moyenne générale des épreuves de bac est bien au dessus de 10, il semble important de préciser que le baccalauréat ne ressemble guère à une loterie comme l'indique maladroitement les titres rencontrés, mais bien à une épreuve sérieuse dont la probabilité d'élimination arbitraire d'un candidat est presque nulle.
Je vous laisse juge d'apprécier les titres utilisés pour relayer cette info et en ce qui concerne le remplacement du bac par un contrôle continu, ce dernier entrainerait des biais, ô combien plus importants que celui que nous venons de rencontrer. S'il s'agissait de remplacer une épreuve rédigée par une épreuve de QCM, il est à noter que la corrélation est très forte et quasi-parfaite entre ces deux types d'épreuves, au moins en mathématiques: ici. Les candidats seront donc classés dans le même ordre, mais les QCM sont plus adaptés à l'évaluation de certaines compétences que d'autres mais n'incitent guère à développer chez les élèves, celles en rapport avec une pratique rédactionnelle. Il faut savoir ce que l'on veut!
Pour conclure, je m'interroge donc sur la publication de telles informations et leur relai immédiat par de grands médias nationaux.
La suite de l'histoire : ICI
Votez pour cette note