Los modelos de IA más avanzados superan ya a casi cualquier ingeniero de software en tareas de programación verificables. Sin embargo, cuando se les pide diseñar una evaluación de IA que resulte útil o puntuar argumentos filosóficos, fracasan de forma sistemática.
La actualización del gráfico de horizonte temporal de METR, una de las métricas más citadas y peor interpretadas del sector, es el intento más serio hasta la fecha de medir esa brecha. El resultado obliga a replantearse cuánto falta realmente para que la IA automatice la investigación y el desarrollo.
La gráfica malinterpretada que ahora se vuelve más ambiciosa
El gráfico original de METR medía cuánto tiempo necesitaba una persona para completar una tarea que un modelo lograba resolver. Esa cifra definía la dificultad de cada prueba. La conclusión más citada fue contundente: cada cuatro meses se duplicaba la longitud de las tareas que los modelos frontera podían completar con éxito.
La actualización añade tareas más largas y, sobre todo, tareas abiertas y difíciles de verificar. Ese tipo de pruebas estaba ausente en la versión original. La mala interpretación previa del gráfico se debía, en gran parte, a la complejidad de las medidas utilizadas. Muchos lectores veían una línea ascendente y asumían que el progreso era uniforme en todos los ámbitos. La nueva versión intenta corregir esa impresión de avance homogéneo.
Por qué el código y las matemáticas son el terreno fácil
El aprendizaje por refuerzo explica gran parte del éxito reciente. Cuando el éxito o el fracaso se comprueba automáticamente, es posible reforzar las vías neuronales que contribuyen al acierto y debilitar las que conducen al error. La programación y las matemáticas son dos campos con verificación automática: una solución funciona o no funciona, y el sistema lo sabe al instante.
Las tareas donde el éxito es difuso o tarda en conocerse son otra historia. Elegir una nueva dirección de investigación no ofrece una señal inmediata de acierto. Sayash Kapoor, profesor entrante en UC Berkeley, señala que las evaluaciones de IA necesitan volverse más creativas. Él considera que el criterio investigador —la capacidad de elegir preguntas, hipótesis y experimentos prometedores— será un cuello de botella importante en la automatización de la I+D.
Diseñar evaluaciones: la prueba que los modelos no superan
La tarea estrella del nuevo conjunto pide a los modelos que diseñen evaluaciones de IA útiles para METR. Empleados humanos de la organización puntúan los resultados. El desenlace es revelador: ninguna evaluación diseñada por IA fue considerada útil para su investigación.
La ironía es difícil de ignorar. Los mismos sistemas que destacan en ingeniería de software no logran producir herramientas de evaluación aprovechables para quienes estudian precisamente sus capacidades. Una segunda tarea pide puntuar argumentos filosóficos, con el objetivo de medir hasta qué punto los modelos ejercen buen juicio. También aquí los modelos quedaron por debajo del rendimiento humano, aunque los propios empleados de METR discrepan sobre la relevancia de esta prueba para la automatización de la I+D.
Señales de progreso, pero con límites difíciles de medir
Hay matices positivos. Modelos recientes como Opus 5.5 alcanzan un rendimiento que METR describe como «en el límite por encima del listón» en diseño de evaluaciones. No es todavía utilizable para la investigación de la organización, pero resulta prometedor. Hace un año, todos los modelos puntuaban claramente por debajo del listón.
Najoung Kim, lingüista y científica computacional en la Universidad de Boston, advierte que no está segura de cómo extrapolar tendencias a partir de tan pocas tareas abiertas. Matt Putz, miembro del equipo técnico de METR, va más allá: las tareas de juicio serán siempre más difíciles de cuantificar que las verificables. No espera establecer tendencias tan limpias y robustas como las de las tareas fáciles de especificar.
El coste práctico de medir lo que importa
Los tiempos de finalización humana en la nueva versión son en su mayoría estimaciones, no mediciones reales. El motivo es práctico: pagar a personas por tareas de cientos de horas, o que solo unos pocos expertos pueden completar, resulta prohibitivo en tiempo y dinero.
Algunas limitaciones son más concretas. Un solo evaluador puntuó la mayoría de los argumentos filosóficos, y los modelos se juzgan según coincidan con esa persona en particular. Los resultados podrían cambiar con más expertos, pero eso también exige tiempo. Estas limitaciones dificultan predecir si la IA automatizará pronto la I+D.
Kapoor lo resume con cautela: el movimiento hacia tareas abiertas es prometedor, pero queda muchísimo por hacer para lograr una comprensión más completa. El gráfico más citado y peor interpretado de la IA acaba de volverse más honesto. Lo que muestre en los próximos años dependerá de cuánto invierta el sector en medir lo que de verdad importa.
