AWS anuncia la llegada de la GPU NVIDIA Blackwell

Amazon Web Services (AWS), una empresa Amazon.com, y NVIDIA han anunciado que la nueva plataforma de GPU NVIDIA Blackwell, presentada por NVIDIA en GTC 2024, llegará a AWS. AWS ofrecerá las GPU NVIDIA GB200 Grace Blackwell Superchip y B100 Tensor Core, ampliando la colaboración estratégica de larga data de las empresas para ofrecer la infraestructura, el software y los servicios más seguros y avanzados para ayudar a los clientes a desbloquear nuevas capacidades de inteligencia artificial (IA) generativa.

NVIDIA y AWS continúan reuniendo lo mejor de sus tecnologías, incluidos los sistemas multinodo más nuevos de NVIDIA que cuentan con la plataforma NVIDIA Blackwell y el software de IA de próxima generación, la seguridad avanzada de AWS Nitro System y AWS Key Management Service (AWS KMS), las redes de escala de petabits de Elastic Fabric Adapter (EFA) y la agrupación en clústeres de hiperescala UltraCluster de Amazon Elastic Compute Cloud (Amazon EC2). Juntos, ofrecen la infraestructura y las herramientas que permiten a los clientes crear y ejecutar inferencias en tiempo real en modelos de lenguaje grandes (LLM) de varios billones de parámetros de forma más rápida, a escala masiva y a un costo menor que las GPU NVIDIA de la generación anterior en Amazon EC2.

«La profunda colaboración entre nuestras dos organizaciones se remonta a más de 13 años, cuando juntos lanzamos la primera instancia de GPU en la nube del mundo en AWS, y hoy ofrecemos la gama más amplia de soluciones de GPU de NVIDIA para los clientes», dijo Adam Selipsky, CEO de AWS. «El procesador Grace Blackwell de próxima generación de NVIDIA marca un importante paso adelante en la IA generativa y la computación GPU. Cuando se combina con las potentes redes de adaptadores de tejido elástico de AWS, la agrupación en clústeres a hiperescala de UltraClusters de Amazon EC2 y las capacidades avanzadas de virtualización y seguridad de nuestro exclusivo sistema Nitro, hacemos posible que los clientes creen y ejecuten modelos de lenguaje de gran tamaño de varios billones de parámetros de forma más rápida, a escala masiva y de forma más segura que en cualquier otro lugar. Juntos, seguimos innovando para hacer de AWS el mejor lugar para ejecutar las GPU de NVIDIA en la nube».

«La IA está impulsando avances a un ritmo sin precedentes, lo que lleva a nuevas aplicaciones, modelos de negocio e innovación en todas las industrias», dijo Jensen Huang, fundador y CEO de NVIDIA. «Nuestra colaboración con AWS está acelerando las nuevas capacidades de IA generativa y proporcionando a los clientes una potencia informática sin precedentes para superar los límites de lo que es posible».

Las últimas innovaciones de AWS y NVIDIA aceleran la formación de LLM de vanguardia que pueden superar 1 billón de parámetros

AWS ofrecerá la plataforma NVIDIA Blackwell, con GB200 NVL72, con 72 GPU Blackwell y 36 CPU Grace interconectadas por NVIDIA NVLink de quinta generación. Cuando se conectan con las potentes redes de Amazon (EFA) y cuentan con el apoyo de la virtualización avanzada (AWS Nitro System) y la agrupación en clústeres a hiperescala (Amazon EC2 UltraClusters), los clientes pueden escalar a miles de superchips GB200. NVIDIA Blackwell en AWS ofrece un gran avance en la aceleración de las cargas de trabajo de inferencia para modelos de lenguaje de varios billones de parámetros que consumen muchos recursos.

Basándose en el éxito de las instancias EC2 P5 con tecnología NVIDIA H100, que están disponibles para los clientes durante períodos cortos a través de los bloques de capacidad de Amazon EC2 para ML, AWS planea ofrecer instancias EC2 con las nuevas GPU B100 implementadas en EC2 UltraClusters para acelerar el entrenamiento y la inferencia de IA generativa a escala masiva. Los GB200 también estarán disponibles en NVIDIA DGX Cloud, una plataforma de IA diseñada conjuntamente en AWS, que brinda a los desarrolladores empresariales acceso dedicado a la infraestructura y el software necesarios para crear e implementar modelos avanzados de IA generativa. Las instancias de DGX Cloud impulsadas por Blackwell en AWS acelerarán el desarrollo de IA generativa y LLM de vanguardia que pueden alcanzar más de 1 billón de parámetros.

Eleve la seguridad de la IA con AWS Nitro System, AWS KMS, EFA cifrado y cifrado Blackwell

A medida que los clientes se mueven rápidamente para implementar la IA en sus organizaciones, necesitan saber que sus datos se manejan de forma segura a lo largo de su flujo de trabajo de capacitación. La seguridad de las ponderaciones de los modelos, los parámetros que un modelo aprende durante el entrenamiento y que son críticos para su capacidad de hacer predicciones, es fundamental para proteger la propiedad intelectual de los clientes, evitar la manipulación de los modelos y mantener la integridad de los mismos.

La infraestructura y los servicios de IA de AWS ya cuentan con características de seguridad para dar a los clientes control sobre sus datos y garantizar que no se compartan con proveedores de modelos externos. La combinación de AWS Nitro System y NVIDIA GB200 lleva la seguridad de la IA aún más lejos al evitar que personas no autorizadas accedan a los pesos de los modelos. El GB200 permite el cifrado físico de las conexiones NVLink entre las GPU y cifra la transferencia de datos desde la CPU Grace a la GPU Blackwell, mientras que EFA cifra los datos entre servidores para el entrenamiento y la inferencia distribuidos. El GB200 también se beneficiará del sistema Nitro de AWS, que descarga la E/S de las funciones de la CPU/GPU del host al hardware especializado de AWS para ofrecer un rendimiento más consistente, mientras que su seguridad mejorada protege el código y los datos del cliente durante el procesamiento, tanto en el lado del cliente como en el lado de AWS. Esta capacidad, disponible solo en AWS, ha sido verificada de forma independiente por NCC Group, una empresa líder en ciberseguridad.

Con el GB200 en Amazon EC2, AWS permitirá a los clientes crear un entorno de ejecución de confianza junto con su instancia EC2, utilizando AWS Nitro Enclaves y AWS KMS. Los Nitro Enclaves permiten a los clientes cifrar sus datos de entrenamiento y pesas con KMS, utilizando material clave bajo su control. El enclave se puede cargar desde la instancia GB200 y puede comunicarse directamente con el superchip GB200. Esto permite que KMS se comunique directamente con el enclave y le pase material clave de una manera criptográficamente segura. A continuación, el enclave puede pasar ese material al GB200, protegido de la instancia del cliente y evitando que los operadores de AWS accedan a la clave o descifren los datos de entrenamiento o los pesos del modelo, lo que proporciona a los clientes un control sin precedentes sobre sus datos.

Project Ceiba recurre a Blackwell para impulsar la futura innovación en IA generativa de NVIDIA en AWS

Anunciado en AWS re:Invent 2023, Project Ceiba es una colaboración entre NVIDIA y AWS para construir una de las supercomputadoras de IA más rápidas del mundo. Alojada exclusivamente en AWS, la supercomputadora está disponible para la investigación y el desarrollo propios de NVIDIA. Este superordenador, el primero de su clase, con 20.736 GPU B200, se está construyendo utilizando el nuevo NVIDIA GB200 NVL72, un sistema con NVLink de quinta generación, que se escala a 20.736 GPU B200 conectadas a 10.368 CPU NVIDIA Grace. El sistema se escala horizontalmente utilizando redes EFA de cuarta generación, proporcionando hasta 800 Gbps por superchip de baja latencia y alto rendimiento de red de ancho de banda, capaz de procesar 414 exaflops masivos de IA, un aumento de rendimiento de 6 veces con respecto a los planes anteriores para construir Ceiba en la arquitectura Hopper. Los equipos de investigación y desarrollo de NVIDIA utilizarán Ceiba para avanzar en la IA para LLM, gráficos (generación de imagen/video/3D) y simulación, biología digital, robótica, autos autónomos, predicción climática de NVIDIA Tierra-2 y más para ayudar a NVIDIA a impulsar la innovación futura de IA generativa.

La colaboración entre AWS y NVIDIA acelera el desarrollo de aplicaciones de IA generativa y avanza en casos de uso en el sector de la salud y las ciencias biológicas

AWS y NVIDIA han unido fuerzas para ofrecer inferencia de alto rendimiento y bajo costo para IA generativa con la integración de Amazon SageMaker con los microservicios de inferencia NVIDIA NAM, disponibles con NVIDIA AI Enterprise. Los clientes pueden usar esta combinación para implementar rápidamente FM precompilados y optimizados para ejecutarse en GPU NVIDIA en SageMaker, lo que reduce el tiempo de comercialización de las aplicaciones de IA generativa.

AWS y NVIDIA se han unido para ampliar el descubrimiento de fármacos asistido por ordenador con los nuevos FM BioNeMo de NVIDIA para la química generativa, la predicción de la estructura de las proteínas y la comprensión de cómo interactúan las moléculas de los fármacos con las dianas. Estos nuevos modelos pronto estarán disponibles en AWS HealthOmics, un servicio especialmente diseñado que ayuda a las organizaciones de atención médica y ciencias biológicas a almacenar, consultar y analizar datos genómicos, transcriptómicos y otros datos ómicos.

Los equipos de AWS HealthOmics y NVIDIA Healthcare también están trabajando juntos para lanzar microservicios de IA generativa para avanzar en el descubrimiento de fármacos, la tecnología médica y la salud digital, ofreciendo un nuevo catálogo de puntos de enlace en la nube acelerados por GPU para datos de biología, química, imágenes y atención médica para que las empresas de atención médica puedan aprovechar los últimos avances en IA generativa en AWS.