Un informe de inteligencia generado por IA identificó falsamente a una embarcación china como transportista de componentes para un programa de armas nucleares. El ejército estadounidense estuvo cerca de interceptar y abordar ese barco, con apoyo aéreo listo. El error se detectó antes de que se tomara acción alguna, pero por muy poco. Una fuente describió el episodio como algo que “casi inició una guerra”.
Este no es un escenario hipotético sobre los riesgos futuros de la IA. Es un incidente cercano documentado que ilustra, con inusual claridad, lo que sucede cuando la alucinación de la IA choca con la toma de decisiones de alto riesgo.
Cómo un chatbot reescribió la carga de un barco
Según los reportes de CNN, un analista del Comando de Operaciones Especiales de Estados Unidos usó un chatbot para procesar inteligencia sobre el manifiesto de la embarcación china. La herramienta combinó inteligencia de fuentes abiertas con inteligencia de señales clasificada almacenada en sistemas gubernamentales, y luego empaquetó el resultado en un informe formal. Dicho informe concluyó que el barco transportaba componentes de un programa de armas nucleares a través de Medio Oriente.
La conclusión era totalmente falsa.
El chatbot había alucinado, en el lenguaje que ya resulta familiar para cualquiera que siga el desarrollo de la IA. Generó un resultado que sonaba seguro y que no reflejaba la realidad, porque los datos subyacentes no proporcionaban el contexto suficiente para obtener una respuesta precisa. El ejército se estaba preparando para una interceptación física antes de que los funcionarios identificaran el error en el resultado de la IA.
Esto es lo que la mayor parte de la cobertura sobre la alucinación de la IA pasa por alto: el problema no es que los sistemas de IA produzcan ocasionalmente respuestas incorrectas en entornos de bajo riesgo. El problema es que los resultados tienen un formato, una estructura y una entrega que parecen autoritativos. Un informe de inteligencia generado con asistencia de IA no llega acompañado de un descargo de responsabilidad. Llega luciendo como un informe de inteligencia.
Un ejército que acelera en lugar de hacer una pausa
El episodio se enmarca en un patrón más amplio de rápida adopción de IA en todo el aparato de defensa de Estados Unidos. En enero, el Departamento de Defensa lanzó lo que describió como una “estrategia de aceleración de IA”, con el objetivo declarado de poner los datos a disposición en sistemas federados para lo que el departamento denominó “explotación de IA”. El secretario de Defensa, Pete Hegseth, enmarcó la iniciativa en torno a la calidad de los datos: “La IA es tan buena como los datos que recibe”.
El departamento también ha avanzado rápidamente en el aspecto de las herramientas. En diciembre pasado, anunció el uso de Google’s Gemini for Government como base para una plataforma a medida llamada GenAI.mil. Al mes siguiente, Grok for Government se añadió como opción en esa misma plataforma. Anthropic ofrece una versión personalizada de Claude para el trabajo de inteligencia en Estados Unidos. Un representante del Pentágono le indicó al Congreso en junio que 1,5 millones de miembros activos del Departamento de Defensa han utilizado las herramientas de IA generativa de los militares, y que esta tecnología ya se está empleando para ayudar a producir informes exigidos por el Congreso.
La escala del despliegue es significativa. También lo es la velocidad. El incidente con el barco chino no ocurrió en el vacío: sucedió dentro de una institución que ha convertido la integración de la IA en una prioridad estratégica.
Aquí existe una tensión que merece atención. Una declaración del Departamento de Estado de 2023 sobre el uso militar responsable de la IA exigió una “cuidadosa consideración de los riesgos y beneficios” e insistió en que el uso responsable de los sistemas de IA siempre debe involucrar “a un humano en el circuito, una cadena humana responsable de mando y control”. El episodio reportado sugiere que técnicamente había un humano en el circuito, en el sentido de que un analista presentó el informe. Sin embargo, el analista parece haber confiado en el resultado del chatbot sin la verificación suficiente. El humano en el circuito es tan eficaz como su capacidad para interrogar lo que la IA ha producido.
Lo que esto revela sobre la IA en entornos de alto riesgo
El problema de la alucinación no es nuevo, ni se limita a contextos militares. Desde que “alucinar” se convirtió en la palabra del año del Cambridge Dictionary en 2023, han surgido casos documentados en medicina, derecho, periodismo, investigación académica y entornos corporativos. Los investigadores han sugerido que quizás sea imposible evitar por completo que los LLM alucinen, sin importar cómo se construyan los prompts.
Lo que el incidente militar aporta a este panorama es una sensación de consecuencias a una escala completamente distinta. Una IA que alucina en un servicio de atención al cliente produce una respuesta incorrecta que se puede corregir. Una IA que alucina en un contexto de inteligencia puede producir una respuesta incorrecta que desencadene una cadena de eventos que involucran a las fuerzas armadas, las relaciones internacionales y la posibilidad de un conflicto armado.
El problema más profundo es estructural. Las herramientas de IA se están integrando en los flujos de trabajo más rápido de lo que se están construyendo los marcos de verificación necesarios para detectar sus errores. La estrategia de aceleración del Departamento de Defensa es explícita en cuanto a la velocidad y la escala. Las salvaguardas, por el contrario, se describen en términos generales: uso fundamentado, supervisión humana, consideración cuidadosa. Esto no es lo mismo que contar con protocolos operativos que habrían detectado el error en el informe del barco chino antes de que llegara a la etapa de preparación militar.
La IA aumenta el análisis humano. Puede procesar volúmenes de datos que ningún analista individual podría manejar por sí solo. Esa es una capacidad genuina. Pero la aumentación exige que los humanos que trabajan junto a estas herramientas tengan tanto el tiempo como el apoyo institucional para verificar los resultados de manera crítica, especialmente cuando dichos resultados van a fundamentar decisiones con consecuencias irreversibles.
En resumen
Un chatbot de IA combinó inteligencia de fuentes abiertas y clasificada, y produjo un informe falso que casi desencadena una interceptación militar estadounidense a un barco chino. El error se detectó, pero el episodio revela una brecha estructural: el ejército estadounidense está desplegando IA a escala y velocidad, mientras que los marcos de verificación necesarios para detectar alucinaciones en contextos de alto riesgo todavía están tratando de ponerse al día. La alucinación de la IA es un problema conocido, documentado y posiblemente irreductible. En entornos de bajo riesgo, es un inconveniente. En la inteligencia militar, es una categoría de riesgo completamente diferente.
Basado en información de Ars Technica.