NVIDIA anuncia las nuevas bibliotecas de NVIDIA Omniverse y los modelos de fundación del mundo (WFM) de NVIDIA Cosmos que aceleran el desarrollo y la implementación de soluciones de robótica.
Impulsados por los nuevos servidores NVIDIA RTX PRO y NVIDIA DGX Cloud, las bibliotecas y modelos permiten a desarrolladores crear gemelos digitales físicamente precisos, capturar y reconstruir el mundo real en la simulación, generar datos sintéticos para entrenar modelos de IA físicos y producir agentes de IA que entienden el mundo físico.
«Los gráficos por computadora y la IA están convergiendo para transformar fundamentalmente la robótica», dijo Rev Lebaredian, vicepresidente de Omniverse y Tecnologías de Simulación en NVIDIA. «Al combinar el razonamiento de IA con una simulación escalable y físicamente precisa, permitimos a los desarrolladores crear los robots y vehículos autónomos del mañana, que transformarán billones de dólares en industrias».
“NVIDIA ha estado trabajando para abrir puertas para que desarrolladores y empresas creen robots más inteligentes, capaces de comprender e interactuar con el mundo físico de forma más realista y precisa. Estas innovaciones no son solo avances tecnológicos, sino la próxima generación de automatización, desde fábricas hasta ciudades inteligentes, que permite la simulación, el entrenamiento y la implementación de sistemas robóticos con una velocidad y precisión sin precedentes”, destaca Marcio Aguiar, director de la división Enterprise de NVIDIA para América Latina.
Nuevas bibliotecas de NVIDIA Omniverse impulsan aplicaciones para la composición del mundo
Los nuevos kits de desarrollo de software (SDK) y bibliotecas NVIDIA Omniverse ya están disponibles para crear e implementar aplicaciones de simulación de robótica e inteligencia artificial industrial .
- Los nuevos SDK de Omniverse introducen interoperabilidad de datos entre MuJoCo (MJCF) y Universal Scene Description (OpenUSD) , lo que permite que más de 250 000 desarrolladores de aprendizaje de robots MJCF simulen robots sin problemas en todas las plataformas.
- Las nuevas bibliotecas Omniverse NuRec y los modelos de IA introducen el Splatting Gaussiano 3D trazado por rayos de Omniverse RTX, una técnica de renderizado que permite a los desarrolladores capturar, reconstruir y simular el mundo real en 3D utilizando datos de sensores.
- Los frameworks de simulación y aprendizaje de los robots de código abierto NVIDIA Isaac Sim™ 5.0 y NVIDIA Isaac Lab 2.2 ya están disponibles en GitHub. Isaac Sim ahora incluye la renderización neural de NuRec, además de nuevos esquemas de robots y sensores basados en OpenUSD que ayudan a los desarrolladores de robots a cerrar la brecha entre la simulación y la realidad.
La renderización de Omniverse NuRec ya está integrada en CARLA, un simulador de código abierto líder utilizado por más de 150.000 desarrolladores. Foretellix, líder en la cadena de herramientas para vehículos autónomos (VA) , integra NuRec, NVIDIA Omniverse Sensor RTX ™ y Cosmos Transfer para optimizar la generación escalable de datos sintéticos con escenarios físicamente precisos. FiftyOne, el motor de datos de Voxel51 para IA visual y multimodal, es compatible con NuRec para facilitar la preparación de datos para las reconstrucciones. Clientes como Ford y Porsche utilizan FiftyOne.
Boston Dynamics, Figure AI, Hexagon , RAI Institute, Lightwheel y Skild AI están adoptando las bibliotecas Omniverse, Isaac Sim e Isaac Lab para acelerar su desarrollo de robótica de IA, mientras que Amazon Devices & Services las está utilizando para impulsar una nueva solución de fabricación.
Cosmos avanza en la generación del mundo para robótica
Los WFM de Cosmos, que se han descargado más de 2 millones de veces, permiten a los desarrolladores generar diversos datos para entrenar robots a escala utilizando indicaciones de texto, imágenes y video.
Los nuevos modelos anunciados en SIGGRAPH ofrecen importantes avances en velocidad de generación de datos sintéticos, precisión, soporte de lenguaje y control:
- Cosmos Transfer-2 ahora simplifica en las entradas y acelera la generación de datos sintéticos fotorrealistas a partir de escenas de simulación 3D de referencia o entradas de control espacial, como profundidad, segmentación, bordes y mapas de alta definición.
- Una versión destilada de Cosmos Transfer reduce el proceso de destilación de 70 pasos a 1, para que los desarrolladores puedan ejecutar el modelo en los servidores NVIDIA RTX PRO a una velocidad sin precedentes.
Lightwheel, Moon Surgical y Skild AI están utilizando Cosmos Transfer para acelerar el entrenamiento físico de IA a través de la simulación de diversas condiciones a escala.
Cosmos Reason avanza en la comprensión del mundo
Desde la introducción del modelo CLIP de OpenAI, los modelos de lenguaje de visión (VLM) han transformado las tareas de visión por computadora, como el reconocimiento de objetos y patrones. Sin embargo, aún no han podido resolver tareas de múltiples pasos ni manejar ambigüedades o experiencias novedosas.
NVIDIA Cosmos Reason, un nuevo VLM de razonamiento abierto y totalmente personalizable para IA física y robótica, permite a los robots y agentes de IA de visión razonar como los humanos. Para hacerlo, utiliza conocimiento previo, comprensión de la física y sentido común, mediante lo cual puede comprender y actuar en el mundo real.
Cosmos Reason se puede utilizar para aplicaciones de robótica y física de IA, que incluyen:
- Curación y anotación de datos, lo que permite a los desarrolladores automatizar la curación y anotación de alta calidad de conjuntos de datos de entrenamiento masivos y diversos.
- Planificación y razonamiento robóticos, que actúan como el cerebro para la toma de decisiones deliberada y metódica en un modelo robótico de visión, lenguaje y acción (VLA) . Cosmos Reason permite a los robots interpretar entornos y, dadas órdenes complejas, descomponerlas en tareas y ejecutarlas con sentido común, incluso en entornos desconocidos.
- Agentes de IA de análisis de video desarrollados en NVIDIA Blueprint para la búsqueda y resumen de videos que pueden extraer información valiosa y realizar análisis de causa raíz en volúmenes masivos de datos de video.
Los equipos de robótica de NVIDIA y NVIDIA DRIVE™ están utilizando Cosmos Reason para la selección y filtrado de datos, anotación y posentrenamiento de VLA. Uber lo está utilizando para anotar y subtitular datos de entrenamiento de vehículos autónomos.
Magna está desarrollando Cosmos Reason como parte de su plataforma City Delivery —una solución totalmente autónoma y económica para entregas instantáneas— para ayudar a los vehículos a adaptarse más rápidamente a las nuevas ciudades. Cosmos Reason incorpora comprensión global al planificador de trayectorias a largo plazo de los vehículos. VAST Data , Milestone Systems y Linker Vision están adoptando Cosmos Reason para automatizar la monitorización del tráfico, mejorar la seguridad y optimizar la inspección visual en ciudades y entornos industriales.
La nueva infraestructura de IA de NVIDIA impulsa cargas de trabajo de robótica en cualquier lugar
Para permitir que los desarrolladores aprovechen al máximo estas tecnologías avanzadas y bibliotecas de software, NVIDIA anunció una infraestructura de IA diseñada para las cargas de trabajo más exigentes.
- Los servidores NVIDIA RTX PRO Blackwell ofrecen una arquitectura única para cada carga de trabajo de desarrollo de robots, como entrenamiento, generación de datos sintéticos, aprendizaje de robots y simulación.
- NVIDIA DGX Cloud, disponible en Microsoft Azure Marketplace, ahora ofrece a los desarrolladores de Omniverse una plataforma totalmente administrada para simplificar la transmisión de aplicaciones basadas en OpenUSD y RTX a escala desde la nube, lo que minimiza la orquestación y administración de la infraestructura. Accenture y Hexagon se encuentran entre los primeros líderes de la industria en adoptar la plataforma.
Aceleración del ecosistema de desarrolladores
Para ayudar a los desarrolladores de robótica e IA física a avanzar en la adopción de tecnología 3D y simulación, NVIDIA también anunció lo siguiente:
- Plan de estudios y certificación OpenUSD , que aborda la demanda de experiencia en USD, con el apoyo de los miembros de AOUSD : Adobe, Amazon Robotics, Ansys (parte de Synopsys), Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS y Trimble, así como líderes de la industria como Hexagon.
- Colaboración de código abierto con Lightwheel para integrar marcos de evaluación y entrenamiento de políticas de robots en NVIDIA Isaac Lab, que incluye capacidades de entrenamiento de aprendizaje de refuerzo paralelo, puntos de referencia y recursos listos para simulación para la manipulación y locomoción de robots.
