Una inspección formal sobre cómo la policía británica utiliza la tecnología de reconocimiento facial ha arrojado una conclusión que va al centro de cómo los sistemas de IA pueden fallar en la práctica. El problema no es simplemente que la tecnología cometa errores, sino que los agentes a veces tratan esos errores como hechos.
Cuando una puntuación de probabilidad se convierte en una orden de arresto
La Inspección de Constendaría de Su Majestad publicó un informe que examina el reconocimiento facial retrospectivo, la forma de tecnología que se utiliza para buscar en bases de datos de imágenes existentes en lugar de escanear multitudes en tiempo real. Incluso esta aplicación menos polémica, según el informe, conlleva riesgos graves cuando las personas que la operan no comprenden lo que significan realmente sus resultados.
El problema central es un error de categoría. Los resultados del reconocimiento facial son inteligencia, una pista que debe investigarse, no evidencia que pueda justificar por sí sola una acción policial. Sin embargo, el informe reveló que algunos investigadores no sabían que esta distinción existía. En un número pequeño de casos, los agentes actuaron basándose en posibles coincidencias sin llevar a cabo las comprobaciones de seguimiento suficientes. El resultado, en esos casos, fue lo que el informe denomina “acción de investigación inadecuada”.
Esto es lo que la mayor parte de la cobertura sobre el reconocimiento facial pasa por alto. El debate tiende a centrarse en si la tecnología debería existir o no. El informe cambia la pregunta: incluso cuando la tecnología está permitida, ¿están las personas que la usan capacitadas para utilizarla correctamente? La respuesta, al menos en algunos casos documentados, es no.
Sesgos, malas imágenes y falta de salvaguardas
El informe identifica varios problemas que se agravan entre sí. El algoritmo en sí conlleva sesgos, incluida una mayor probabilidad de señalar erróneamente a personas de minorías étnicas como sospechosas. Este no es un hallazgo nuevo en el campo más amplio de la investigación sobre reconocimiento facial, pero su presencia en una inspección oficial del uso policial activo le otorga un peso particular.
La calidad de las imágenes introducidas en el sistema también importa. Los auditores encontraron casos en los que los agentes subieron imágenes borrosas o imágenes que contenían múltiples rostros, los cuales reducen la fiabilidad de cualquier coincidencia que devuelva el sistema. La tecnología solo puede funcionar tan bien como las entradas que recibe.
Jasleen Chaggar, de Big Brother Watch, planteó una preocupación adicional: la policía no registra de manera consistente su uso del reconocimiento facial retrospectivo. Esto significa que las personas podrían convertirse en sospechosas en investigaciones penales sin ningún registro transparente de por qué fueron señaladas, y sin ninguna forma práctica de impugnar el proceso.
El informe también descubrió que las imágenes de custodia que deberían haber sido eliminadas se conservaron, lo que crea un riesgo adicional para la confianza pública. Y a la base de todo esto hay un vacío legislativo. Como afirma el informe, la ley no ha seguido el ritmo de la tecnología. No existe un marco normativo exhaustivo que regule cómo se puede utilizar el reconocimiento facial, lo que dificulta que las fuerzas policiales comprendan qué está permitido legalmente y qué salvaguardas se requieren.
El profesor Pete Fussey, de la Universidad de Southampton y exasesor policial en reconocimiento facial, expresó la dimensión legal con claridad: la supervisión humana significativa de los sistemas de IA ya es un requisito legal, pero el informe documenta casos en los que los investigadores aceptaron el resultado de la computadora sin una verificación adicional.
Lo que esto revela sobre la IA en entornos de alto riesgo
El caso del reconocimiento facial es un ejemplo específico de un desafío mucho más amplio. Cuando se despliegan sistemas de IA en entornos donde sus resultados pueden desencadenar consecuencias en el mundo real, como un arresto, una decisión médica o una acción financiera, los humanos involucrados deben comprender con precisión qué es y qué no les está diciendo el sistema.
Una coincidencia de IA no es una conclusión. Es una señal que justifica una investigación adicional. En el momento en que esa distinción colapsa, el sistema deja de potenciar el juicio humano y comienza a reemplazarlo, y no de una manera que beneficie a nadie. Kathryn Stone, inspectora de Constendaría de Su Majestad, lo dejó explícito: las decisiones deben seguir sujetas al juicio humano y se deben implementar de forma demostrable las salvaguardas adecuadas.
El llamado del informe a favor de un marco normativo más claro, estándares nacionales más sólidos y una gobernanza mejorada no es precaución burocrática. Refleja una brecha genuina entre la rapidez con la que se ha adoptado la tecnología y la lentitud con la que se han desarrollado las estructuras institucionales a su alrededor. La tecnología avanza más rápido que la ley. Esa brecha es donde suele ocurrir el daño.
Ben Russell, del Consejo de Jefes de Policía Nacionales, reconoció el informe y afirmó el compromiso de la policía con el uso ético y proporcionado de la tecnología. La tensión entre ese compromiso declarado y los fallos documentados es exactamente lo que el informe pide a las fuerzas de seguridad que resuelvan.
En resumen
El reconocimiento facial puede apoyar las investigaciones criminales, pero solo si las personas que lo utilizan comprenden que una coincidencia es un punto de partida, no una conclusión. La inspección descubrió que esta comprensión no es universal entre los agentes, que el algoritmo conlleva sesgos contra las minorías étnicas y que el marco legal que rige el uso de la tecnología sigue incompleto. El riesgo no es solo el arresto injusto. Es la erosión de la confianza pública en una herramienta que, utilizada correctamente, podría tener un valor genuino.
Basado en información de The Guardian.