Entrenar IA que actúa en el mundo real —robots, vehículos autónomos, drones— exige datos variados, precisos y seguros. Obtenerlos solo en entornos reales es caro, lento y, a veces, peligroso. NVIDIA ha actualizado sus Open World Foundation Models (WFMs) para cerrar esa brecha: Cosmos Predict 2.5 y Cosmos Transfer 2.5 se integran con Omniverse y el ecosistema Isaac para generar datos sintéticos físicamente plausibles a gran escala y acelerar el salto de la simulación al mundo real.
La actualización pivota sobre dos ideas: unificar la generación de mundos y variarlos a voluntad (clima, luz, terreno) con controles finos y consistencia multicámara. El objetivo es probar y validar modelos de IA física con una cobertura de escenarios que sería impracticable recolectar en la calle, la fábrica o el campo.
Qué aportan Cosmos Predict 2.5 y Cosmos Transfer 2.5
- Cosmos Predict 2,5: unifica en una arquitectura ligera los modelos Text2World, Image2World y Video2World. A partir de un prompt, una imagen o un vídeo, el sistema genera mundos en vídeo coherentes y controlables, con salidas multicámara consistentes. Esto permite, por ejemplo, sintetizar una escena vial o de almacén con múltiples vistas y trayectorias para alimentar pipelines de percepción y planificación.
- Cosmos Transfer 2,5: habilita style transfer espacial de mundo a mundo con alta fidelidad para multiplicar la variabilidad del dataset: clima, iluminación o terreno cambian de forma coherente en todas las cámaras. Además, el modelo es 3,5× más pequeño que su antecesor, más rápido y con mejor alineamiento al prompt y física más ajustada.
Ambos WFMs se encajan en pipelines de datos sintéticos sobre NVIDIA Omniverse e Isaac Sim —el marco de simulación robótica de código abierto de la compañía—, acortando el gap sim-to-real con vídeo fotorrealista y anotaciones consistentes.
El “pipeline” de datos sintéticos: de un smartphone a un mundo entrenable
NVIDIA propone un flujo en cuatro etapas para construir datos sintéticos útiles de verdad:
- Omniverse NuRec: bibliotecas de reconstrucción neural para levantar un gemelo digital en OpenUSD a partir de capturas con un smartphone (escenas reales convertidas en entornos navegables).
- SimReady assets: poblar el gemelo con modelos 3D físicamente precisos (materiales, masas, fricciones) listos para simulación.
- Isaac Sim (MobilityGen): generar datos (trayectorias, sensores, perturbaciones) a escala, con control sobre sensores (RGB, LiDAR, profundidad) y cinemática.
- NVIDIA Cosmos: ampliar lo generado con variaciones plausibles de clima, luz y terreno aplicadas de forma espacialmente coherente y multicámara.
El resultado: millones de muestras sintéticas controladas, con etiquetas “perfectas” (segmentación, profundidad, poses) y diversidad dirigida, que complementan —no sustituyen— el dato real.
Casos reales: de “robot brains” a entregas autónomas
- Skild AI está usando Cosmos Transfer para ampliar datos con nuevas variaciones y validar políticas robóticas entrenadas en Isaac Lab. Su enfoque “simulation-first” acelera la generalización de cerebros de robot a través de distintos cuerpos y tareas.
- Serve Robotics combina Isaac Sim y datos de campo en una de las flotas autónomas más grandes en espacio público: acumula más de 100.000 entregas de última milla y recolecta 1.000.000 de millas mensuales, con ≈ 170.000 millones de muestras imagen–LiDAR para realimentar los modelos en simulación. La empresa ha mostrado, además, cómo sus robots pueden entregar hardware de computación: repartió NVIDIA DGX Spark —1 petaFLOP de IA personal— a creadores como Refik Anadol, will.i.am y Ollama.
- Zipline, referencia en drones autónomos de reparto, recibió también un DGX Spark por dron y emplea NVIDIA Jetson como plataforma de edge AI en sus sistemas de vuelo.
- Lightwheel ayuda a clientes a cerrar la brecha sim-to-real con SimReady y datasets sintéticos masivos sobre OpenUSD, desde fábrica a hogar.
- En minería, el científico de datos Santiago Villa usa Omniverse con Blender para generar datasets capaces de detectar grandes rocas que bloquean trituradoras. Cada incidente puede frenar la planta ≈ 7 minutos y costar hasta 650.000 dólares anuales en pérdida de producción; los datos sintéticos reducen costes de entrenamiento y mejoran la detección.
- FS Studio creó miles de variaciones fotorealistas de paquetes con Omniverse Replicator para un líder logístico, elevando la precisión de detección y bajando falsos positivos, con impacto directo en el throughput.
- Robots for Humanity montó un entorno integral en Isaac Sim para un cliente de oil & gas, generando datos RGB, profundidad y segmentación, y capturando telemetría del robot Unitree G1 vía teleoperación.
- El embajador de Omniverse Scott Dempsey sintetiza cables a partir de especificaciones de fabricantes y genera datasets con Isaac Sim, enriquecidos con Cosmos Transfer para entrenar sistemas que identifican y manipulan cables.
Por qué el dato sintético importa en “IA física”
Las LLM prosperan en internet porque abunda el texto. La IA física necesita experiencias: colisiones, oclusiones, brillos especulares, lluvia en el LiDAR, ruido térmico… y fallos raros. Esperar a que ocurran —o provocarlos— en el mundo real es inviable. Con datos sintéticos físicamente basados, los equipos pueden:
- Cubrir escenarios raros (casi accidentes, condiciones extremas) sin poner en peligro a nadie.
- Controlar la distribución (cuántas noches, cuánta lluvia, cuántas oclusiones) para entrenar con balance y robustez.
- Obtener etiquetas perfectas (segmentación, profundidad, normales) que son carísimas o imposibles de anotar en entornos reales.
- Iterar velozmente: cuando el modelo falla, generar más del caso que falla y reentrenar.
La clave está en que los mundos sintéticos sean plausibles en física y óptica, y que el pipeline conserve la coherencia entre vistas y sensores. Ahí es donde Omniverse, OpenUSD, Isaac y Cosmos se solapan.
OpenUSD + Omniverse: el lenguaje común del 3D industrial
El uso de OpenUSD (estándar promovido por AOUSD) como formato de escena permite que gemelos digitales, activos SimReady y datos sintéticos viajen entre herramientas y equipos sin fricciones. Omniverse actúa como plataforma para construir, simular y renderizar esos mundos con física y iluminación consistentes, mientras Isaac Sim añade la capa de robótica (sensores, control, ROS 2, teleoperación).
Empezar hoy: ruta de aprendizaje y recursos
Desarrolladores y equipos pueden arrancar con:
- La ruta “Getting Started with Isaac Sim” (simulación robótica, ROS 2, generación de datos).
- El workflow de referencia de datos sintéticos con Omniverse.
- El Cosmos Cookbook (recetas técnicas, ejemplos y pasos detallados).
- Guías para capturar escenas con iPhone y reconstruirlas en Isaac Sim.
- Playlists de YouTube con flujos de Replicator y Omniverse.
- NVIDIA Brev para acceder a entornos GPU preconfigurados y “launchables” orientados a IA física.
Lectura técnica: de “demo” a producción
El salto de laboratorio a operación exige métricas: tasa de colisiones, desviación de trayectoria, tiempo de planificación, falsos positivos/negativos en percepción, MTBF en campo. La aportación de Cosmos 2,5 —coherencia multicámara, variaciones físicas a medida y eficiencia— está pensada para monitorizar esas métricas con experimentos controlados y datasets reproducibles. Si la entrega en campo confirma la ganancia, el refinado se vuelve un bucle: simulación → datos sintéticos → entrenamiento → validación en campo → vuelta a simulación con más casos difíciles.
Preguntas frecuentes
¿En qué se diferencia “IA física” de la IA generativa de texto o imagen?
La IA física debe percibir, razonar y actuar en tiempo real en entornos dinámicos: un robot, un coche o un dron que interactúa con el mundo. Necesita datos atados a la realidad (física, sensores, iluminación), no solo patrones estadísticos de internet.
¿Por qué usar datos sintéticos si ya tengo registros reales de mis robots?
Porque el dato real no cubre todos los casos y no etiqueta todo lo que importa (profundidad, segmentación precisa). Con sintéticos, controlas la distribución, generas escenarios raros sin riesgo y obtienes etiquetas perfectas para acelerar entrenamiento y validación.
¿Qué papel juega OpenUSD/Omniverse frente a otros motores?
OpenUSD ofrece un formato interoperable para escenas complejas; Omniverse aporta render fotorrealista, física y composición a escala industrial, y se integra con Isaac y Cosmos para cerrar el ciclo simulación → datos → modelo.
¿Cómo garantizan Cosmos Predict y Transfer la coherencia entre cámaras y sensores?
Predict 2,5 genera mundos multicámara consistentes desde una entrada (texto, imagen, vídeo). Transfer 2,5 aplica estilos/condiciones (clima, luz, terreno) de modo espacialmente controlado y sincronizado entre vistas, preservando la geometría y la física de la escena.
¿Sustituirá el dato sintético al dato real?
No. El mayor rendimiento llega cuando se combina: sintético para cobertura y etiquetas perfectas; real para anclar la distribución y validar el modelo antes de desplegar.
Nota: Este artículo se basa en la información técnica y ejemplos de uso compartidos por NVIDIA sobre Cosmos 2,5, Omniverse e Isaac Sim, así como en casos reales de adopción en robótica y logística.
vía: blogs.nvidia
