NVIDIA ha presentado Nemotron 3.5 Super VL, un modelo multimodal abierto y personalizable diseñado para potenciar la nueva generación de agentes de inteligencia artificial autónomos en entornos empresariales.
Lo más destacado de Nemotron 3.5 Super VL:
- Arquitectura MoE Eficiente: Utiliza una arquitectura de Mixture-of-Experts (MoE) de 120B de parámetros, activando únicamente 12B de parámetros por token para equilibrar capacidad y eficiencia en la inferencia.
- Modelo Multimodal Unificado: Combina razonamiento, seguimiento de instrucciones y uso de herramientas con comprensión de texto, imágenes, documentos complejos (tablas, gráficos) y video en un solo modelo, eliminando la necesidad de coordinar modelos de visión y lenguaje por separado.
- Rendimiento de Alta Velocidad: Entrega hasta 5 veces más rendimiento (throughput) en tareas orientadas a agentes dentro de una sola GPU en comparación con otros modelos abiertos de su categoría.
- Optimizaciones Avanzadas de Inferencia: Incorpora decodificación especulativa LiLiCorr (hasta 2.3x más rápido), cuantización NVFP4 de 4 bits, predicción de múltiples tokens (MTP) y reutilización de contexto para reducir la latencia en llamadas repetitivas de agentes.
- Resultados en la Industria: Organizaciones como Scale AI, Ramp y AI21 han posentrenado el modelo para casos de uso específicos, logrando reducir los costos de inferencia hasta 40 veces, acelerar la velocidad 10 veces y aumentar la precisión en un 40%.
