Los modelos y agentes de razonamiento de IA están destinados a transformar las industrias, pero ofrecer todo su potencial a escala requiere una computación masiva y un software optimizado. El proceso de «razonamiento» implica múltiples modelos, generando muchos tokens adicionales, y exige una infraestructura con una combinación de comunicación, memoria y computación de alta velocidad para garantizar resultados de alta calidad en tiempo real. Para satisfacer esta demanda, CoreWeave ha lanzado instancias basadas en NVIDIA GB200 NVL72, convirtiéndose en el primer proveedor de servicios en la nube en poner a disposición del público en general la plataforma NVIDIA Blackwell. Con NVIDIA NVLink a escala de rack en 72 GPU NVIDIA Blackwell y 36 CPU NVIDIA Grace, que se escalan hasta 110 000 GPU con redes NVIDIA Quantum-2 InfiniBand, estas instancias proporcionan la escala y el rendimiento necesarios para crear e implementar la próxima generación de modelos y agentes de razonamiento de IA.
NVIDIA GB200 NVL72 en CoreWeave
NVIDIA GB200 NVL72 es una solución a escala de rack refrigerada por líquido con un dominio NVLink de 72 GPU, lo que permite que las seis docenas de GPU actúen como una sola GPU masiva. NVIDIA Blackwell cuenta con muchos avances tecnológicos que aceleran la generación de tokens de inferencia, lo que aumenta el rendimiento y reduce los costos de servicio. Por ejemplo, NVLink de quinta generación permite 130 TB/s de ancho de banda de GPU en un dominio NVLink de 72 GPU, y el Transformer Engine de segunda generación permite FP4 para un rendimiento de IA más rápido mientras se mantiene una alta precisión. La cartera de servicios gestionados en la nube de CoreWeave está diseñada específicamente para Blackwell.Servicio de Kubernetes de CoreWeave optimiza la orquestación de la carga de trabajo al exponer los ID de dominio de NVLink, lo que garantiza una programación eficiente dentro del mismo bastidor. Slurm on Kubernetes (SUNK) es compatible con el complemento de bloque de topología, lo que permite la distribución inteligente de la carga de trabajo en racks GB200 NVL72. Además, la plataforma de observabilidad de CoreWeave proporciona información en tiempo real sobre el rendimiento de NVLink, la utilización de la GPU y las temperaturas.
Las instancias GB200 NVL72 de CoreWeave cuentan con redes NVIDIA Quantum-2 InfiniBand que ofrecen un ancho de banda de 400 Gb/s por GPU para clústeres de hasta 110 000 GPU. Las DPU NVIDIA BlueField-3 también proporcionan redes en la nube multiusuario aceleradas, acceso a datos de alto rendimiento y elasticidad de cómputo de GPU para estas instancias.
Plataforma de computación acelerada de pila completa para IA empresarial
La plataforma de IA de pila completa de NVIDIA combina software de vanguardia con infraestructura impulsada por Blackwell para ayudar a las empresas a crear agentes de IA rápidos, precisos y escalables.
NVIDIA Blueprints proporciona flujos de trabajo de referencia predefinidos, personalizables y listos para implementar para ayudar a los desarrolladores a crear aplicaciones del mundo real. NVIDIA NIM es un conjunto de microservicios fáciles de usar diseñados para la implementación segura y confiable de modelos de IA de alto rendimiento para la inferencia. NVIDIA NeMo incluye herramientas para el entrenamiento, la personalización y la mejora continua de los modelos de IA para casos de uso empresarial modernos. Las empresas pueden usar NVIDIA Blueprints, NIM y NeMo para crear y ajustar modelos para sus agentes de IA especializados.
Llevar la IA de próxima generación a la nube
La disponibilidad general de las instancias basadas en NVIDIA GB200 NVL72 en CoreWeave subraya lo último en la colaboración de las empresas, centrada en ofrecer las últimas soluciones de computación acelerada a la nube. Con el lanzamiento de estas instancias, las empresas ahora tienen acceso a la escala y el rendimiento necesarios para impulsar la próxima ola de modelos y agentes de razonamiento de IA.
Estos componentes de software, que forman parte de la plataforma de software NVIDIA AI Enterprise, son facilitadores clave para ofrecer IA agentica a escala y se pueden implementar fácilmente en CoreWeave.
