NVIDIA anunció NVIDIA Isaac GR00T N1.5, la primera actualización del modelo básico abierto, generalizado y totalmente personalizable de NVIDIA para el razonamiento y las habilidades de los humanoides; NVIDIA Isaac GR00T-Dreams, un modelo para la generación de datos de movimiento sintético y los sistemas de NVIDIA Blackwell para acelerar el desarrollo de robots humanoides.
Los desarrolladores de robótica y humanoides Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI y XPENG Robotics están adoptando las tecnologías de la plataforma NVIDIA Isaac para avanzar en el desarrollo y la implementación de robots humanoides.
“La IA física y la robótica provocarán la próxima revolución industrial”, dijo Jensen Huang, fundador y CEO de NVIDIA. “Desde cerebros de IA para robots hasta mundos simulados para realizar prácticas o supercomputadoras de IA para entrenar modelos fundacionales, NVIDIA proporciona elementos de construcción para cada etapa del proceso de desarrollo de la robótica”.
“NVIDIA siempre va un paso por delante en lo que se refiere tecnología. Estamos allanando el camino hacia nuevas fronteras de innovación y eficiencia en el mundo de la IA y ahora con los robots”, afirma Marcio Aguiar, director de la división Enterprise de NVIDIA para Latinoamérica.
El nuevo plan de generación de datos Isaac GR00T cierra la brecha de datos
NVIDIA Isaac GR00T-Dreams, presentado en el keynote de Huang en COMPUTEX, es un plan que ayuda a generar grandes cantidades de datos de movimiento sintético, (también conocidos como trayectorias neuronales) que los desarrolladores de IA física pueden usar para enseñar a los robots nuevos comportamientos, incluida la forma de adaptarse a entornos cambiantes.
Los desarrolladores primero pueden entrenar posteriormente los modelos fundacionales del mundo (WFM) de Cosmos Predict para su robot. Luego, usando una sola imagen como entrada, GR00T-Dreams genera videos del robot que realiza nuevas tareas en nuevos entornos. Luego, el blueprint extrae tokens de acción (datos comprimidos y digeribles) que se utilizan para enseñar a los robots cómo realizar estas nuevas tareas.
El modelo de GR00T-Dreams complementa el de Isaac GR00T-Mimic, que se lanzó en la conferencia NVIDIA GTC en marzo. Si bien GR00T-Mimic usa las plataformas NVIDIA Omniverse™ y NVIDIA Cosmos™ para aumentar los datos existentes, GR00T-Dreams usa Cosmos para generar datos completamente nuevos.
Nuevos Modelos de Isaac GR00T avanzan en el desarrollo de Robots Humanoides
NVIDIA Research utilizó el modelo GR00T-Dreams para generar datos de entrenamiento sintético y desarrollar GR00T N1.5 (una actualización de GR00T N1), en solo 36 horas, en comparación con lo que habría tomado casi tres meses de recopilación manual de datos humanos.
El GR00T N1.5 puede adaptarse mejor a nuevos entornos y configuraciones de espacios de trabajo, así como reconocer objetos por medio de las instrucciones del usuario. Esta actualización mejora significativamente la tasa de éxito del modelo para tareas comunes de manejo de materiales y manufactura, como clasificar o guardar objetos.
Entre los primeros en adoptar los modelos GR00T N se encuentran AeiRobot, Foxlink, Lightwheel y NEURA Robotics. AeiRobot emplea los modelos para permitir que ALICE4 entienda las instrucciones de lenguaje natural y ejecute flujos de trabajo complejos de recoger y colocar en entornos industriales. Foxlink Group los está utilizando para mejorar la flexibilidad y la eficiencia de los manipuladores de robots industriales, mientras que Lightwheel los está aprovechando para validar datos sintéticos y agilizar para una implementación de robots humanoides más rápida en las fábricas. NEURA Robotics está evaluando los modelos para acelerar su desarrollo de sistemas de automatización doméstica.
Nuevos marcos de simulación de robots y generación de datos aceleran los procesos de entrenamiento
El desarrollo de robots humanoides con alto nivel de destrezas requiere una cantidad masiva de datos diversos, lo cual es costoso de capturar y procesar. Los robots deben probarse en el mundo físico, lo que puede generar costos y riesgos.
Para ayudar achicar la brecha entre los datos y las pruebas, NVIDIA dio a conocer las siguientes tecnologías de simulación:
- NVIDIA Cosmos Reason, un nuevo WFM que utiliza el razonamiento en cadena para ayudar a seleccionar datos sintéticos precisos y de mayor calidad para el entrenamiento de modelos físicos de IA, ahora está disponible en Hugging Face.
- Cosmos Predict 2, utilizado en GR00T-Dreams, llegará pronto a Hugging Face, con mejoras de desempeño para la generación de mundos de alta calidad y reducción de alucinaciones.
- NVIDIA Isaac GR00T-Mimic, un blueprint para generar cantidades exponencialmente grandes de trayectorias de movimiento sintético para la manipulación de robots, utilizando solo unas pocas demostraciones humanas.
- Conjunto de Datos Abierto de IA Física, que ahora incluye 24,000 trayectorias de movimiento de robots humanoides de alta calidad utilizadas para desarrollar los modelos GR00T N.
- NVIDIA Isaac Sim 5.0, un framework de simulación y generación de datos sintéticos, pronto estará disponible abiertamente en GitHub.
- NVIDIA Isaac Lab 2.2, un marco de aprendizaje de robots de código abierto, que admitirá nuevos entornos de evaluación para ayudar a los desarrolladores a probar los modelos GR00T N.
Foxconn y Foxlink están utilizando el blueprint GR00T-Mimic para la generación de manipulación de movimiento sintético a fin de acelerar sus pipelines de entrenamiento en robótica. Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics y XPENG Robotics están haciendo simulaciones y entrenando a sus robots humanoides con NVIDIA Isaac Sim e Isaac Lab. Skild AI está usando los frameworks de simulación para desarrollar inteligencia de robots generales, y General Robotics los está integrando en su plataforma de inteligencia de robots.
Sistemas Blackwell Universales para Desarrolladores de Robots
Los fabricantes de sistemas globales están creando estaciones de trabajo y servidores NVIDIA RTX PRO™ 6000, lo que proporciona una arquitectura única para ejecutar fácilmente cada carga de trabajo de desarrollo de robots, incluyendo entrenamiento, generación de datos sintéticos, aprendizaje robótico y simulación.
Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo y Supermicro anunciaron servidores impulsados por NVIDIA RTX PRO, y Dell Technologies, HPE y Lenovo anunciaron estaciones de trabajo impulsadas por NVIDIA RTX PRO 6000 Blackwell.
Cuando se requiere más computación para ejecutar cargas de trabajo de entrenamiento o generación de datos a gran escala, los desarrolladores pueden aprovechar los sistemas NVIDIA Blackwell como GB200 NVL72, disponible con NVIDIA DGX Cloud a través de los principales proveedores de nube y Socios de NVIDIA Cloud, para lograr un desempeño hasta 18 veces mayor para el procesamiento de datos.
Los desarrolladores podrán implementar sus modelos fundacionales de robots en la plataforma NVIDIA Jetson Thor próximamente, lo que habilitará la inferencia acelerada y el desempeño en tiempo de ejecución en el robot.
