La pregunta sobre quién controla los sistemas automatizados no es nueva. Es anterior a la inteligencia artificial. Lo que ha cambiado es la escala, la velocidad y el grado en que las decisiones automatizadas afectan ahora ámbitos de la vida que antes se consideraban territorio exclusivamente humano: contratación laboral, crédito, triaje médico, sentencias penales, moderación de contenidos. Entender la relación entre la automatización y el comportamiento humano exige observar cómo funciona esa relación en la práctica, no tal como se describe en comunicados de prensa o documentos de política.
La paradoja de la automatización: por qué más capacidad puede significar menos control
Existe un fenómeno bien documentado en la investigación sobre factores humanos que a veces se denomina la paradoja de la automatización. A medida que los sistemas se vuelven más capaces y fiables, los operadores humanos tienden a desconectarse. La atención se dispersa. Las habilidades se atrofian. Cuando el sistema finalmente se enfrenta a una situación para la que no fue diseñado, es posible que el ser humano que nominalmente está “al mando” ya no tenga la conciencia situacional ni el juicio entrenado para intervenir con eficacia.
Esto no es un defecto de carácter. Es una respuesta cognitiva predecible ante una automatización fiable. Cuando un sistema funciona correctamente miles de veces seguidas, el cerebro humano deja de tratarlo como algo que requiere supervisión activa. La aviación ha estudiado esta dinámica en profundidad, y las lecciones se aplican mucho más allá de la cabina de mando. Cualquier ámbito en el que los humanos supervisen procesos automatizados se enfrenta a la misma tensión de fondo: cuanto más confiable es la automatización, menos preparado está el ser humano para los momentos en que esa confianza debería retirarse.
Esto genera un problema estructural. Las organizaciones suelen medir el éxito de la automatización por la frecuencia con que los humanos necesitan intervenir. Pero esa métrica, tomada de forma aislada, puede ocultar una fragilidad creciente. El sistema parece sano hasta que deja de estarlo.
Responsabilidad sin visibilidad: la brecha de gobernanza
Un problema distinto e igualmente importante tiene que ver con la responsabilidad. Los sistemas automatizados toman decisiones, pero las decisiones requieren que alguien responda por ellas. Cuando se deniega una solicitud de préstamo, se descarta a un candidato a un puesto de trabajo o se elimina una publicación en redes sociales, existe en algún lugar una institución humana que desplegó el sistema. Esa institución es, en principio, responsable del resultado.
En la práctica, la responsabilidad se vuelve difícil de localizar. El equipo que construyó el modelo puede no ser el mismo que lo desplegó. El equipo que lo desplegó puede no ser el mismo que estableció los objetivos de política que el sistema estaba optimizando. Las personas afectadas por la decisión a menudo no tienen visibilidad sobre por qué se tomó, y a veces tampoco la tienen quienes la tomaron. Esto es lo que la mayoría de la cobertura sobre gobernanza de la IA pasa por alto: el problema rara vez es que nadie sea responsable. El problema es que la responsabilidad está distribuida en tantas capas que se vuelve efectivamente invisible.
Esto no es exclusivo de la IA. Las grandes burocracias siempre han tenido esta propiedad. Lo que añade la automatización es velocidad y escala. Una burocracia humana que comete un error sistemático afecta a las personas lentamente, caso por caso. Un sistema automatizado puede replicar el mismo error en millones de casos antes de que alguien detecte el patrón. Las estructuras de gobernanza que existen para la toma de decisiones humana no fueron diseñadas para esa velocidad.
Por qué esto importa más allá de la política tecnológica
El problema de fondo aquí no es técnico. Se trata de cómo las sociedades deciden qué decisiones deben automatizarse, en qué condiciones y con qué tipo de supervisión humana incorporada. Estas son preguntas fundamentalmente políticas y éticas, no de ingeniería. Requieren la aportación de personas que comprendan el contexto social de las decisiones que se toman, no solo los sistemas que las toman.
En el discurso tecnológico existe una tendencia a tratar la automatización como una fuerza que llega desde fuera de la sociedad y que debe gestionarse a posteriori. El enfoque más preciso es que la automatización es una elección. Las organizaciones eligen automatizar determinadas funciones. Los gobiernos eligen cómo regular esas elecciones. Los individuos eligen cuánto confiar en las recomendaciones automatizadas en sus propias vidas. Cada una de esas elecciones refleja valores, prioridades y suposiciones sobre para qué sirve el juicio humano.
He aquí por qué eso importa en la práctica. Cuando la automatización se trata como una herramienta de eficiencia neutral en lugar de una decisión de diseño cargada de valores, la pregunta sobre quién está al mando tiende a postergarse. Nadie decide explícitamente que el sistema debe tener la autoridad final. Simplemente la va acumulando con el tiempo, a medida que los humanos que lo rodean dejan gradualmente de cuestionar sus resultados. Para cuando la pregunta se vuelve urgente, la respuesta ya está incorporada en la práctica organizacional y es difícil de revertir.
Los enfoques más resilientes ante la automatización son aquellos que tratan la supervisión humana no como un recurso de emergencia para cuando el sistema falla, sino como una función activa y continua con sus propios recursos, formación y reconocimiento institucional. La automatización gestiona el volumen. El juicio humano gestiona el contexto, los casos límite y las situaciones que el sistema nunca fue diseñado para anticipar.
En resumen
La automatización no elimina la responsabilidad humana. La redistribuye, a menudo de maneras que la hacen más difícil de ver. El desafío central no es construir sistemas que funcionen bien en condiciones normales. La mayoría de los sistemas automatizados lo hacen. El desafío es mantener una comprensión humana genuina y una capacidad de supervisión real incluso a medida que la automatización se vuelve más fiable, más omnipresente y más profundamente integrada en la toma de decisiones institucional. Eso requiere decisiones de diseño deliberadas, no solo técnicas.