The Brief
Société et éthique 5 min de lecture

39 millions de dissertations plus tard, l'IA ne peut toujours pas remplacer un correcteur humain

NAVION

Partager

Il existe une version de l’enseignement universitaire où un étudiant rend une dissertation, un algorithme la note et aucun humain ne lit un seul mot. Ce n’est pas de la science-fiction. Les outils pour y parvenir existent déjà, et certains d’entre eux sont disponibles sur le marché au moins depuis 1998. La question la plus urgente n’est pas de savoir si ce scénario est techniquement possible. C’est de savoir si les universités comprennent ce qui serait perdu s’il devenait la norme.

Une technologie bien plus ancienne que l’époque de ChatGPT

La plupart des discussions publiques sur l’IA dans l’éducation traitent la technologie comme quelque chose de récent qui perturbe un système stable. L’historique est plus compliqué. L’éditeur éducatif Pearson indique que ses systèmes entraînés spécialisés ont noté 39 millions de réponses, couvrant des dissertations, des réponses courtes et des équations. Ce n’est pas un programme pilote. C’est un produit commercial mature avec un long historique, développé bien avant que les LLM ne deviennent des noms familiers.

Ce qui a changé, c’est l’accessibilité. Pendant la majeure partie de cette période, la correction par IA était un outil spécialisé et coûteux, hors de portée de nombreux établissements. Des modèles accessibles à tous tels que ChatGPT et Claude ont modifié cette équation. Un enseignant peut désormais télécharger une dissertation en même temps qu’une grille d’évaluation et recevoir une note et des commentaires en quelques secondes, sans coût significatif. L’obstacle à l’adoption a chuté brusquement, même si la logique sous-jacente de la technologie n’a pas beaucoup changé.

Il vaut la peine de bien comprendre cette logique. Ces modèles n’évaluent pas le travail de la même manière qu’un humain. Ils prédisent quelle note est probable, en se basant sur des schémas textuels comparés à de vastes corpus de textes existants. Si le modèle a été entraîné sur du matériel similaire à la tâche évaluée, ses prédictions ont tendance à être plus proches des jugements humains. Sinon, l’écart se creuse. C’est une distinction fondamentale : la prédiction n’est pas la compréhension.

Où mène la recherche

Une étude menée par des chercheurs de l’Université de Melbourne et de l’Université de Cardiff a examiné si des versions ultérieures de ChatGPT pouvaient reproduire de manière fiable les notes de correcteurs humains sur 50 dissertations de biosciences de premier cycle. Les conclusions ont été instructives. Il y a eu un certain alignement au niveau des notes globales des dissertations, mais les chercheurs ont conclu qu’on ne pouvait pas compter sur ChatGPT pour attribuer et expliquer des notes avec précision. Les performances étaient particulièrement faibles sur des critères de notation spécifiques, tels que la pertinence du contenu et la qualité des preuves à l’appui. Le modèle avait également tendance, en moyenne, à noter les dissertations plus haut que les correcteurs humains.

Cette dérive à la hausse n’est pas un bogue au sens conventionnel. Elle reflète la manière dont la technologie fonctionne. Un système qui prédit plutôt qu’il n’évalue aura tendance à produire des résultats qui semblent plausibles et acceptables, ce qui, en termes de notation, signifie souvent généreux. Cela a des conséquences réelles pour les normes académiques et pour le sens d’une note.

Les universités australiennes gèrent cela avec précaution, bien que pas toujours de manière transparente. L’Université Deakin interdit aux enseignants de télécharger les devoirs des étudiants dans des outils d’IA accessibles au public, invoquant des préoccupations de confidentialité liées au stockage de données à l’étranger et aux réglementations australiennes sur la protection de la vie privée. L’Université de Melbourne autorise les enseignants à utiliser des outils d’IA approuvés pour soutenir leur évaluation du travail des étudiants, mais interdit explicitement de s’en remettre uniquement à l’IA pour déterminer les notes. La tendance d’une institution à l’autre est cohérente : une supervision humaine est requise et la responsabilité des jugements incombe à la personne, et non au système.

Ce qui est perdu lorsque l’humain se retire

Voici ce que la plupart des reportages sur la correction par IA oublient. Le débat a tendance à se concentrer sur la précision : l’algorithme peut-il égaler la note humaine ? C’est le mauvais cadre. L’évaluation n’est pas seulement un exercice de mesure. C’est une relation.

La recherche sur les points de vue des étudiants et des enseignants concernant les commentaires suggère que l’IA peut créer une distance entre les deux. Les étudiants qui auraient pu autrefois s’adresser à un tuteur avec une question se tournent désormais d’abord vers l’IA. Ce changement est subtil mais significatif. Les commentaires d’un enseignant humain portent un signal qu’une note provenant d’un algorithme ne peut pas donner : ils disent à l’étudiant que son apprentissage compte pour une autre personne.

Il existe également une boucle de rétroaction qui fonctionne dans l’autre sens, du travail de l’étudiant vers l’enseignant. Si une grande proportion d’étudiants d’une cohorte comprennent tous mal le même concept, un enseignant qui corrige leurs dissertations le remarquera. Ce schéma devient une opportunité d’améliorer la façon dont la matière est enseignée. Un algorithme qui traite les mêmes dissertations les notera, mais il ne signalera pas un problème d’enseignement systémique.

L’Université de Nouvelle-Galles du Sud a testé une approche différente dans certaines matières, supprimant complètement les notes chiffrées et les remplaçant par des évaluations des compétences par rapport à des résultats définis. L’université décrit cela comme un déplacement de l’accent vers l’apprentissage des étudiants. Le projet pilote n’a pas été conçu comme une réponse à l’IA, mais il pointe vers une question plus large : si le but de l’évaluation est l’apprentissage plutôt que le classement, quel rôle un système de notation, qu’il soit humain ou automatisé, devrait-il réellement jouer ?

En bref

La correction par IA n’est pas nouvelle et elle ne va pas disparaître. Ce qui est nouveau, c’est la facilité avec laquelle elle est devenue utilisable. Les données disponibles suggèrent que les outils d’IA actuels ne peuvent pas reproduire de manière fiable le jugement humain sur des travaux écrits complexes, en particulier au niveau de critères spécifiques. Les universités réagissent en adoptant des politiques qui tiennent les humains responsables des notes finales. Le problème plus profond est que réduire l’évaluation à un problème de notation passe à côté de ce à quoi sert réellement l’évaluation : comprendre si l’apprentissage a eu lieu, et renforcer la relation entre l’enseignant et l’étudiant qui rend l’apprentissage possible. La technologie peut soutenir ce processus. Elle ne peut pas s’y substituer.

D’après un reportage de The Conversation.

Lire l’étude originale.

Rédigé par

NAVION