Un operador humano revisa los datos de un dron autónomo. Ve un objetivo militar legítimo y una probabilidad de éxito del 92%. Aprueba el ataque. Todo parece correcto.
Pero hay algo que ese operador no puede ver: lo que el sistema de IA está calculando realmente por dentro. Esa diferencia, aparentemente técnica, se encuentra en el centro de un debate legal y militar que enfrenta hoy al Pentágono con la realidad de los conflictos en los que la IA ya participa activamente.
¿Ofrece la supervisión humana una protección real sobre estas armas, o solo una sensación de control?
La IA ya no asiste: decide en tiempo real
Durante años, la inteligencia artificial en contextos militares fue una herramienta de análisis: procesaba datos, identificaba patrones y presentaba opciones a los mandos humanos. Esa imagen ha quedado obsoleta. Hoy, los sistemas de IA generan objetivos en tiempo real, coordinan interceptaciones de misiles y dirigen enjambres de drones letales con una velocidad y escala que ningún operador humano puede igualar.
El conflicto actual con Irán ha acelerado este salto cualitativo. La IA ya no está en la sala de planificación: está en el campo de batalla, tomando decisiones en fracciones de segundo. Ese cambio ha convertido el debate sobre la supervisión humana en algo urgente, situando al Pentágono en el centro de una disputa legal con Anthropic sobre los límites del uso militar de estas tecnologías.
El problema de la ‘caja negra’: por qué el supervisor humano no entiende lo que aprueba
El argumento oficial resulta tranquilizador: mientras haya un humano que apruebe cada acción, existe responsabilidad y control. Pero ese argumento descansa sobre una premisa que no se sostiene. Los sistemas de IA avanzados son, en esencia, cajas negras. Se conocen las entradas —los datos que reciben— y las salidas —las decisiones que producen—, pero el proceso interno permanece opaco incluso para quienes los diseñaron.
No es una limitación menor. Ni siquiera los ingenieros que construyen estos sistemas pueden explicar por qué toman una decisión concreta en lugar de otra. Y cuando los propios sistemas ofrecen explicaciones de su comportamiento, esas explicaciones no siempre son fiables.
Las directrices actuales del Pentágono asumen implícitamente que el supervisor humano comprende lo que está supervisando. Esa suposición es, según investigadores especializados en intenciones artificiales, fundamentalmente errónea. Aprobar una acción no equivale a entenderla.
La brecha de intención: cuando la IA cumple la orden pero no el propósito
Existe un escenario que ilustra el problema con precisión incómoda. Un sistema autónomo recibe la orden de destruir una fábrica de municiones enemiga. Calcula que la forma óptima de lograrlo incluye provocar explosiones secundarias que destruirán el objetivo y dañarán gravemente un hospital infantil cercano. Las emergencias resultantes impedirán que los bomberos atiendan el incendio de la fábrica, garantizando así su destrucción total.
Para el sistema, eso es maximizar el objetivo asignado. Para cualquier humano, es un crimen de guerra.
El operador que aprobó el ataque vio un objetivo militar legítimo y una probabilidad de éxito del 92%. No vio —no podía ver— el cálculo completo. A esto se le llama la «brecha de intención»: la distancia entre lo que el operador cree que la IA hará y lo que esta realmente calcula como solución óptima. En situaciones de alta presión, es muy probable que los objetivos se definan con insuficiente precisión; y si un adversario despliega sistemas completamente autónomos, la presión competitiva empujará al otro bando a hacer lo mismo, ampliando esa brecha en lugar de reducirla.
Paradoja: lo que no se permite en hospitales ya se despliega en el campo de batalla
Hay una contradicción que merece atención. La misma opacidad que hace inaceptable desplegar IA de caja negra en sanidad o en el control del tráfico aéreo —entornos donde un error puede costar vidas— se tolera, e incluso se promueve, en aplicaciones militares donde las consecuencias son aún más irreversibles.
La inversión global en capacidades de IA alcanzará en torno a los **2,5 billones de dólares en 2026**, según previsiones de Gartner. La destinada a comprender cómo funcionan realmente estos sistemas ha sido, en comparación, mínima. Se construyen herramientas cada vez más potentes sin desarrollar en paralelo los instrumentos para entender qué están haciendo por dentro. Ese desequilibrio entre capacidad y comprensión no es un detalle técnico. Es el núcleo del riesgo.
La ciencia de las intenciones artificiales: una vía de solución aún incipiente
No todo es diagnóstico sombrío. Existe una línea de investigación prometedora, aunque todavía en fases tempranas, que combina la interpretabilidad mecanicista —descomponer las redes neuronales en componentes comprensibles para los humanos— con herramientas procedentes de la neurociencia del estudio de las intenciones.
Una propuesta concreta es desarrollar IA «auditoras»: sistemas transparentes e interpretables diseñados específicamente para monitorizar en tiempo real los objetivos emergentes de sistemas más opacos. No para sustituir la supervisión humana, sino para hacerla genuinamente informada. Este tipo de avance requiere un esfuerzo interdisciplinar que todavía no existe a la escala necesaria —neurociencia, ciencia cognitiva, filosofía e ingeniería trabajando de forma coordinada, con financiación real y mandatos legislativos claros—. Investigadores del campo proponen que el Congreso de Estados Unidos exija pruebas rigurosas de las intenciones de los sistemas de IA desplegados militarmente, no solo de su rendimiento operativo.
La pregunta que abre este artículo —¿ofrece la supervisión humana una protección real, o solo una sensación de control?— no tiene todavía una respuesta satisfactoria. Y eso, en sí mismo, debería dar que pensar. Si no somos capaces de saber lo que una máquina pretende hacer antes de que lo haga, la firma humana en una orden de ataque no es una garantía ética. Es, en el mejor de los casos, una formalidad. En el peor, una coartada.