http://www.bulletins-electroniques.com/actualites/61884.htm

J'ai lu un livre très intéressant pendant ces vacances de fin d'année : "The Drunkard's Walk", de Leonard Mlodinow. L'auteur de cette "Promenade de l'Ivrogne" est un physicien qui, après avoir décroché un doctorat en physique théorique à Berkeley et une bourse de la Fondation Alexander von Humboldt à l'Institut Max Planck de Munich, a écrit des scénarios pour la télé et le cinéma (Hunter, MacGyver, Star trek: The Next Generation), puis a produit des jeux vidéos, pour finalement revenir dans le monde académique en 2005 comme enseignant au California Institute of Technology.

La thèse du livre est simple : notre vie est dominée par le hasard, mais notre cerveau étant programmé pour reconnaître des schémas (patterns), nous sommes incapable de voir l'aléatoire là où il se manifeste. Prenons l'un des mythes du monde moderne : le mérite. "Les gens ignorent systématiquement le rôle du hasard dans le succès des entreprises et des individus", écrit Mlodinow. Vous souvenez-vous de Stanley O'Neal ? Une parenthèse : comment reconnait-on le mérite, de nos jours ? Grâce au salaire, bien sûr. Si on est très bien payé, on est très bon. M. O'Neal a gagné 48 millions de dollars en 2006, et 46 en 2007. Plus que très bon. Un génie. Sans aucun doute. A tel point que, en quittant son poste à la fin de 2007, M. O'Neal a été remercié pour ses bons services avec un supplément d'environ 160 millions de dollars. Et que personne ne dise que le mérite n'existe pas ou qu'il n'est pas bien récompensé.

Pourquoi, alors, CNBC a-t-elle classé Stan O'Neal parmi les Plus Mauvais PDG Américains de Tous les Temps ? Parce que O'Neal est le PDG responsable de l'entrée de la firme de consultants financiers Merrill Lynch dans l'arène des sub-primes, ce qui a causé à l'entreprise des pertes de 8 milliards de dollars. Les 160 millions de dollars sont la prime du licenciement qui a suivi ce désastre. Génie ou idiot, nous demande implicitement Mlodinow ? Si l'on juge O'Neal sur la base de ses résultats, on doit conclure que le génie peut évoluer vers l'idiotie en l'espace de quelques mois. Si, par contre, les succès anciens et les insuccès récents de M. O'Neal sont dus au hasard, quel mérite est-on en train de récompenser par des millions de dollars ?

Je réfléchissais à cette histoire de mérite vs. hasard, quand mon attention a été capturée par un article du Houston Chronicle : "HISD may fire teachers over test scores". Le Rectorat de Houston (Houston Independent Schools District) pourrait mettre à la porte des enseignants sur la base des résultats (des élèves) aux tests.

L'école Américaine, on le sait, est un désastre. Etant de compétence locale, c'est-à-dire des états fédérés, le gouvernement fédéral a peu de marge d'intervention sur l'école. L'administration Bush est toutefois intervenue par le biais du programme "No Child Left Behind", basé sur la conviction que fixer des objectifs globaux très élevés et mesurables peut améliorer les résultats individuels des élèves. Les états sont censés évaluer ces résultats et doivent démontrer une amélioration continue de ceux-ci pour pouvoir accéder aux financements fédéraux. L'évaluation des élèves se fait par des tests standardisés, qui consistent pour la plupart en des Questions à Choix Multiples (QCM) ou à réponse Vrai/Faux, et parfois en de courtes réponses écrites. Cependant, la nécessité de standardiser, ainsi que la volonté d'automatiser le processus de correction afin d'éliminer la subjectivité d'un correcteur humain, font que QCM et Réponses Vrai/Faux sont largement privilégiées.

Depuis 2006, le HISD utilise un complexe algorithme statistique, le Educational Value-Added Assessment System (EVAAS), ou système d'évaluation pour l'enseignement a valeur ajoutée, mis au point par William Sanders, ancien professeur de l'Université du Tennessee, et patron du SAS Institute Inc. en Caroline du Nord.

Cet algorithme avale les résultats des tests, et recrache un paramètre qui mesure l'efficacité de l'enseignant. Dans les propres mots de Sanders : "Sanders et collaborateurs ont développé et perfectionné une méthodologie pour mesurer l'influence que le système scolaire, l'école et les enseignants exercent sur les progrès académiques des élèves. Cette influence est la 'valeur ajoutée' de l'éducation. Suivant les progrès scolaires de chaque élève et utilisant des techniques statistiques dites 'à modèle mixte', Sanders a démontré qu'il est possible de mesurer de façon juste, objective et équilibrée les agents propulseurs et freinants d'une croissance scolaire soutenue."

Tout cela paraît très alléchant, d'autant plus que la question de comment évaluer l'enseignement en tarabuste plus d'un en France également. Le fait de ne pas comparer les élèves à un niveau de connaissances prédéterminé, mais d'évaluer plutôt leur évolution personnelle au fil des ans, est salué comme un progrès par rapport aux efforts précédents. De plus, on ne peut que se féliciter d'une approche qui définit le rôle primaire de l'enseignement et de l'enseignant en termes de l'accroissement des connaissances des élèves. Toutefois, la méthode et son emploi soulèvent un certain nombre d'interrogations, que je vais évoquer.

L'EVAAS est utilisé dans plusieurs états, et à Houston en particulier, pour repérer les enseignants plus performants et leur attribuer une prime "de productivité". L'éventualité à laquelle l'article du Chronicle fait référence concerne la proposition, discutée par le Bureau du HISD, que les résultats des élèves, passés à la moulinette des milliers d'équations de la méthode statistique, soient utilisés pour décider du licenciement des enseignants peu ou pas efficaces.

Et c'est ici que commencent les problèmes, comme l'on peut s'en douter. De nombreuses études soulignent plusieurs questions fondamentales que l'on souhaiterait voir abordées, et si possible résolues, avant une utilisation si drastique d'un modèle mathématique. Pour commencer, on s'interroge, et depuis longtemps d'ailleurs, sur la validité et la fiabilité des tests mêmes qui constituent les données d'entrée de la méthode : sont-ils réellement capables de mesurer ce qu'on leur demande, c'est-à-dire le niveau des connaissances des élèves ? Ensuite, une question de principe ; une méthode statistique n'est idéalement applicable à l'évaluation des enseignants que si les élèves sont regroupés en classes de manière aléatoire, et les enseignants attribués aléatoirement aux différentes classes. Evidemment, ceci est loin d'être le cas dans la réalité. Autre point important, celui des erreurs statistiques qui affectent l'estimation, et qui sont très larges à cause des incertitudes sur les données initiales, et de la complexité inhérente à la méthode.

Mais, au delà des questions techniques, on doit faire face à une interrogation presque philosophique. A la fin de l'analyse statistique, un nombre est attribué à l'enseignant. Ce nombre, qui peut être positif ou négatif, mesure l'écart entre la performance de cet enseignant et la performance de l'"enseignant typique". par rapport à l'évolution moyenne des élèves. Ce nombre est appelé "efficacité" de l'enseignant, ce qui semble impliquer un rapport causal direct entre la performance de l'enseignant et la réussite des élèves. En d'autres termes, si l'on remplaçait un enseignant d'efficacité +6 par un autre d'efficacité +2, tout autre condition étant égale, on devrait observer une performance des élèves proportionnellement réduite (en admettant une relation linéaire, bien entendu.) Du moins devrait-on observer une évolution des connaissances des mêmes élèves réduite de manière appréciable; or, cela est évidemment invérifiable, car l'on ne peut faire enseigner le même cours aux mêmes élèves par deux enseignants différents en même temps. La méthode est donc par principe impossible à valider.

Personne, les enseignants en premier, ne refuse l'idée d'une relation entre qualité de l'enseignement et réussite des élèves. Mais on ne peut oublier non plus que d'autres effets et circonstances viennent troubler la fête (quid des familles, sans aucune influence, on dirait, sur l'apprentissage des élèves ?) et que toutes ces 'perturbations' sont finalement attribuées, en bien ou en mal, à l'enseignant.

L'enseignement étant une activité multiforme, il paraît douteux que l'on puisse la résumer par un paramètre numérique. Ceci donc ne peut être utilisé que comme l'un des éléments d'une évaluation multi-facettes qui restera en grande majorité qualitative. Cependant, comme l'auteur de ces lignes a appris en siégeant au CNU, la tentation de n'utiliser que la seule et unique donnée quantitative disponible est très forte, et l'on peut imaginer qu'il le soit encore plus pour des non scientifiques qui ne sont pas avertis des complications techniques sous-jacentes au nombre en question.

Evaluer le mérite par une formule, si compliquée soit elle, n'est probablement qu'une chimère. Et encore, à condition que le "mérite" existe, et ne soit pas que le nom que nous donnons à une illusion née du hasard, comme le suggère Leonard Mlodinow.

Une autre information dans le Chronicle : les résultats très décevants du géant Américain de l'aluminium Alcoa Inc. plombent Wall Street. Devinez-vous qui siège parmi les directeurs d'Alcoa depuis 2008 ? Et oui, Stanley O'Neal...