Desarrollar un sistema de IA física no es solo entrenar un modelo. Es reconstruir escenas del mundo real, generar escenarios de prueba, evaluar comportamientos y repetir el ciclo una y otra vez, con herramientas que rara vez se comunican entre sí. Para la mayoría de los equipos de investigación, ese proceso es lento, manual y difícil de escalar.
En CVPR 2026, la mayor conferencia mundial de visión por computador, NVIDIA ha presentado una respuesta directa a ese problema.
El problema que frena la investigación en IA física
Cualquier equipo que trabaje en IA física conoce bien la frustración: reconstruir una escena requiere una herramienta, generar datos sintéticos exige otra, entrenar políticas implica un tercer entorno, y evaluar el comportamiento del sistema supone ensamblar todo eso a mano. La fragmentación no es un detalle menor. Ralentiza la experimentación y hace casi imposible escalar los resultados.
El problema se agudiza especialmente en conducción autónoma. El llamado long tail —intersecciones inusuales, condiciones de luz extremas, comportamientos inesperados de otros conductores— es difícil de cubrir con datos reales en cantidad suficiente. Los mismos cuellos de botella reaparecen en robótica y visión artificial: sin ejemplos controlados y variados, entrenar modelos robustos se convierte en un trabajo interminable.
Qué son las agent skills de NVIDIA y cómo funcionan
Las habilidades de agentes de IA física son módulos que automatizan las etapas más comunes del flujo de investigación, desde la preparación de escenas hasta la evaluación de políticas, reduciendo el trabajo manual que hoy separa cada paso del siguiente.
Estas habilidades se integran con NVIDIA Cosmos 3, el primer omnimodelo abierto que unifica razonamiento visual, generación de mundos y generación de acciones. Su arquitectura mixture-of-transformers hace que un transformador de razonamiento analice observaciones y dirija instrucciones a una torre de generación especializada, formando una cadena coherente en la que cada módulo alimenta al siguiente.
Las herramientas están disponibles en abierto a través de GitHub. También pueden probarse directamente en NVIDIA Brev como entornos preconfigurados, con créditos de prueba gratuitos sobre GPUs H100.
Conducción autónoma: simular lo que las carreteras reales no pueden ofrecer
Para los investigadores de vehículos autónomos, NVIDIA presenta varias herramientas que atacan directamente el problema del long tail. La habilidad Neural Reconstruction convierte datos capturados por flotas en escenas 3D editables, listas para simulación y generación de datos sintéticos. InstantNuRec va un paso más allá: reconstruye escenas de carretera en 3D a partir de imágenes sin necesidad de optimización por escena.
AlpaGym es el marco de aprendizaje por refuerzo en bucle cerrado que conecta los rollouts de política con simulación de alta fidelidad. Puede escalar a miles de GPUs, lo que permite a los equipos avanzar por las fases de configuración, ejecución y evaluación de forma continua. El modelo que corona esta cadena es Alpamayo 2 Super: 32.000 millones de parámetros, arquitectura VLA y capacidad para razonar, planificar y actuar en toda la pila de conducción. NVIDIA lo describe como su modelo abierto de conducción más potente hasta la fecha.
Robótica y visión artificial: cerrar la brecha entre simulación y mundo real
En robótica, el cuello de botella está en construir suficientes entornos controlados para entender cómo varía el comportamiento de un robot según la tarea o el contexto. Las nuevas habilidades de Isaac Sim 6.0 e Isaac Lab permiten a los agentes lanzar sesiones de simulación, diseñar escenas, capturar datos y evaluar entornos de forma automatizada. Las habilidades de movilidad de Isaac cubren el flujo completo de navegación, desde la búsqueda de escenas hasta la evaluación de políticas.
Para robótica quirúrgica, Cosmos-H-Surgical-Simulator genera datos realistas aprendiendo directamente de cirugías reales, lo que reduce la dependencia de modelos físicos diseñados a mano. En visión artificial, la habilidad Defect Image Generation crea ejemplos de defectos poco frecuentes sobre distintas superficies, combinando Isaac Sim, Cosmos 3 y NVIDIA OSMO para que los investigadores puedan generar casos visuales raros y comprobar si los modelos responden correctamente.
El ecosistema de datos e infraestructura que respalda el avance
El Physical AI Dataset de NVIDIA ha superado los 15 millones de descargas en Hugging Face. Entre las novedades destacan GRAIL, con aproximadamente 50 horas de interacción humanoide-objeto, y seis conjuntos de datos de vídeo sintético utilizados para entrenar Cosmos 3 en ámbitos que van desde la conducción autónoma hasta la seguridad en almacenes.
La presencia de NVIDIA en CVPR 2026 refleja una adopción amplia: sus tecnologías aparecen referenciadas en la mayoría de los artículos aceptados, con equipos del MIT, Stanford, UC Berkeley, Tsinghua y Peking University entre los usuarios. La conferencia acoge además retos abiertos de benchmarking, incluido el nuevo PAI-AV Reasoning Challenge, diseñado para evaluar la capacidad explicativa de los modelos VLA mediante etiquetas de cadena causal.
Lo que viene a continuación es ya observable. Con flujos de trabajo automatizados, datos abiertos y modelos de referencia accesibles, el ritmo de iteración en IA física podría acelerarse de forma notable. El verdadero indicador será cuántos equipos independientes consigan llevar estos sistemas desde la simulación hasta el despliegue real en los próximos meses.