The Brief
Sociedad y ética 5 min de lectura

39 millones de ensayos después, la IA todavía no puede reemplazar a un evaluador humano

NAVION

Compartir

Hay una versión de la educación universitaria en la que un estudiante entrega un ensayo, un algoritmo lo califica y ningún ser humano lee una sola palabra. No es ciencia ficción. Las herramientas para hacerlo realidad ya existen y algunas de ellas están disponibles comercialmente desde al menos 1998. La pregunta más urgente no es si este escenario es técnicamente posible. Es si las universidades comprenden lo que se perdería si se convirtiera en la norma.

Una tecnología mucho más antigua que el momento de ChatGPT

La mayor parte del debate público sobre la IA en la educación trata a la tecnología como algo que llegó recientemente para alterar un sistema estable. La historia es más complicada. La editorial educativa Pearson informa que sus sistemas especializados y entrenados han calificado 39 millones de respuestas, abarcando ensayos, respuestas breves y ecuaciones. Eso no es un programa piloto. Es un producto comercial maduro con una larga trayectoria, desarrollado mucho antes de que los LLMs se convirtieran en nombres conocidos.

Lo que ha cambiado es la accesibilidad. Durante la mayor parte de esa historia, la calificación por IA era una herramienta especializada y costosa, fuera del alcance de muchas instituciones. Los modelos de disponibilidad abierta como ChatGPT y Claude han alterado esa ecuación. Un profesor ahora puede subir un ensayo junto con una rúbrica de calificación y recibir una puntuación y comentarios en segundos, sin un costo significativo. La barrera para la adopción se ha reducido drásticamente, incluso si la lógica subyacente de la tecnología no ha cambiado mucho.

Vale la pena comprender esa lógica con claridad. Estos modelos no evalúan el trabajo de la misma manera que lo hace un humano. Predicen qué nota es probable, basándose en patrones textuales comparados con grandes volúmenes de texto existente. Si el modelo ha sido entrenado con material similar a la tarea que se está evaluando, sus predicciones tienden a acercarse más a los juicios humanos. Si no, la brecha se amplía. Esta es una distinción fundamental: la predicción no es comprensión.

Hacia dónde apunta la investigación

Un estudio realizado por investigadores de la University of Melbourne y Cardiff University examinó si las versiones posteriores de ChatGPT podían replicar de manera fiable las puntuaciones de los evaluadores humanos en 50 ensayos de biociencia de pregrado. Los hallazgos fueron ilustrativos. Hubo cierta alineación a nivel de las calificaciones generales de los ensayos, pero los investigadores concluyeron que no se podía confiar en que ChatGPT asignara y explicara las notas con precisión. El rendimiento fue especialmente débil en criterios de calificación específicos, como la idoneidad del contenido y la calidad de la evidencia de respaldo. El modelo también tendía, en promedio, a calificar los ensayos más alto que los evaluadores humanos.

Esta deriva ascendente no es un error en el sentido convencional. Refleja cómo funciona la tecnología. Un sistema que predice en lugar de evaluar tenderá hacia resultados que parezcan plausibles y aceptables, lo que en términos de calificación a menudo significa generoso. Eso tiene consecuencias reales para los estándares académicos y para el significado de una nota.

Las universidades australianas están navegando esto con cautela, aunque no siempre de forma transparente. Deakin University prohíbe a los profesores subir tareas de estudiantes a herramientas de IA de disponibilidad abierta, citando preocupaciones de privacidad relacionadas con el almacenamiento de datos en el extranjero y las normativas de privacidad australianas. La University of Melbourne permite a los profesores utilizar herramientas de IA aprobadas para respaldar su evaluación del trabajo de los estudiantes, pero prohíbe explícitamente depender únicamente de la IA para determinar calificaciones o notas. El patrón en todas las instituciones es coherente: se requiere supervisión humana y la responsabilidad de los juicios recae en la persona, no en el sistema.

Lo que se pierde cuando el humano se aparta

Esto es lo que la mayor parte de la cobertura sobre la calificación por IA pasa por alto. El debate tiende a centrarse en la precisión: ¿puede el algoritmo igualar la puntuación humana? Ese es el enfoque incorrecto. La evaluación no es solo un ejercicio de medición. Es una relación.

La investigación sobre las perspectivas de estudiantes y profesores respecto a los comentarios sugiere que la IA puede crear distancia entre ambos. Los estudiantes que antes quizás se habrían acercado a un tutor con una pregunta ahora recurren primero a la IA. Ese cambio es sutil pero significativo. Los comentarios de un profesor humano transmiten una señal que la puntuación de un algoritmo no puede dar: le indica al estudiante que su aprendizaje le importa a otra persona.

También hay un bucle de retroalimentación que funciona en la dirección opuesta, desde el trabajo del estudiante hacia el profesor. Si una gran proporción de estudiantes de una cohorte malinterpreta el mismo concepto, un profesor que califique sus ensayos se dará cuenta. Ese patrón se convierte en una oportunidad para mejorar la forma en que se enseña la materia. Un algoritmo que procesa los mismos ensayos les asignará una puntuación, pero no señalará un problema sistémico de enseñanza.

La University of New South Wales ha puesto a prueba un enfoque diferente en algunas asignaturas, eliminando por completo las calificaciones numéricas y reemplazándolas por evaluaciones de competencia frente a resultados definidos. La universidad describe esto como un cambio de enfoque hacia el aprendizaje de los estudiantes. La prueba piloto no fue diseñada como una respuesta a la IA, sino que apunta a una pregunta más amplia: si el objetivo de la evaluación es el aprendizaje en lugar de la clasificación, qué papel debería desempeñar realmente cualquier sistema de calificación, ya sea humano o automatizado.

En resumen

La calificación por IA no es nueva y no va a desaparecer. Lo nuevo es lo fácil que se ha vuelto de usar. La evidencia disponible sugiere que las herramientas actuales de IA no pueden replicar de manera fiable el juicio humano en trabajos escritos complejos, particularmente a nivel de criterios específicos. Las universidades están respondiendo con políticas que hacen que los humanos rindan cuentas por las calificaciones finales. El problema más profundo es que reducir la evaluación a un problema de puntuación pasa por alto para qué sirve realmente la evaluación: comprender si el aprendizaje ha ocurrido y fortalecer la relación entre profesor y estudiante que hace posible el aprendizaje. La tecnología puede apoyar ese proceso. No puede sustituirlo.

Basado en información de The Conversation.

Lee el estudio original.

Escrito por

NAVION