Google anuncia las super computadoras A3 con GPUs NVIDIA H100

La implantación de modelos de inteligencia artificial (IA) y aprendizaje automático (AM) de última generación requiere grandes cantidades de cálculo, tanto para entrenar los modelos subyacentes como para servirlos una vez entrenados. Dadas las exigencias de estas cargas de trabajo, no basta con un enfoque único: se necesita una infraestructura diseñada específicamente para la IA.

Junto con nuestros socios, ofrecemos una amplia gama de opciones de computación para casos de uso de ML, como grandes modelos de lenguaje (LLM), IA generativa y modelos de difusión. Recientemente, anunciamos G2 VMs, convirtiéndonos en la primera nube en ofrecer las nuevas GPUs NVIDIA L4 Tensor Core para servir cargas de trabajo de IA generativa. Hoy, ampliamos esa cartera con el lanzamiento en primicia privada del superordenador GPU A3 de nueva generación. Google Cloud ofrece ahora una completa gama de opciones de GPU para el entrenamiento y la inferencia de modelos de ML.

Los superordenadores Google Compute Engine A3 están diseñados para entrenar y servir los modelos de IA más exigentes que impulsan la IA generativa actual y la innovación de grandes modelos de lenguaje. Nuestras máquinas virtuales A3 combinan las GPU NVIDIA H100 Tensor Core y los principales avances en redes de Google para dar servicio a clientes de todos los tamaños:

A3 es la primera instancia de GPU que utiliza nuestras IPU de 200 Gbps diseñadas a medida, con transferencias de datos de GPU a GPU que evitan el host de CPU y fluyen por interfaces independientes de otras redes de VM y tráfico de datos. Esto permite multiplicar por 10 el ancho de banda de red en comparación con nuestras máquinas virtuales A2, con bajas latencias de cola y gran estabilidad del ancho de banda.

Nuestro tejido de red inteligente para centros de datos Jupiter, único en el sector, se adapta a decenas de miles de GPU altamente interconectadas y permite enlaces ópticos reconfigurables de ancho de banda completo que pueden ajustar la topología a demanda. Para casi todas las estructuras de carga de trabajo, conseguimos un ancho de banda de carga de trabajo que no se distingue de otros tejidos de red no bloqueantes más caros, lo que se traduce en un menor coste total de propiedad.

La escala del superordenador A3 proporciona hasta 26 exaFlops de rendimiento de IA, lo que mejora considerablemente el tiempo y los costes de formación de grandes modelos de ML.
A medida que las empresas pasan de la formación al servicio de sus modelos de ML, las máquinas virtuales A3 también se adaptan perfectamente a las cargas de trabajo de inferencia, con un aumento del rendimiento de inferencia de hasta 30 veces en comparación con nuestras máquinas virtuales A2 que funcionan con la GPU NVIDIA A100 Tensor Core.

Diseñadas específicamente para ofrecer rendimiento y escalabilidad

Las máquinas virtuales A3 GPU se han diseñado específicamente para proporcionar el máximo rendimiento en el entrenamiento de las cargas de trabajo de ML actuales, con una CPU moderna, una memoria host mejorada, GPU NVIDIA de última generación e importantes actualizaciones de la red. Estas son las principales características del A3:

8 GPU H100 que utilizan la arquitectura Hopper de NVIDIA y proporcionan 3 veces más capacidad de cálculo.

3,6 TB/s de ancho de banda biseccional entre las 8 GPU del A3 a través de NVIDIA NVSwitch y NVLink 4.0.

Procesadores Intel Xeon Scalable de 4ª generación de última generación

2 TB de memoria host a través de módulos DIMM DDR5 a 4800 MHz
Ancho de banda de red 10 veces mayor gracias a nuestras IPU habilitadas para hardware, la pila de comunicación GPU especializada entre servidores y las optimizaciones de NCCL.

Las GPU VM de A3 suponen un paso adelante para los clientes que desarrollan los modelos de ML más avanzados. Al acelerar considerablemente el entrenamiento y la inferencia de los modelos de ML, las VM A3 permiten a las empresas entrenar modelos de ML más complejos a gran velocidad, lo que crea una oportunidad para que nuestros clientes construyan grandes modelos de lenguaje (LLM), IA generativa y modelos de difusión para ayudar a optimizar las operaciones y mantenerse por delante de la competencia.

Este anuncio se basa en nuestra colaboración con NVIDIA para ofrecer a nuestros clientes una gama completa de opciones de GPU para el entrenamiento y la inferencia de modelos ML».

«Según Ian Buck, vicepresidente de hiperescala y computación de alto rendimiento en NVIDIA, «Las máquinas virtuales A3 de Google Cloud, impulsadas por las GPU H100 de NVIDIA de última generación, acelerarán el entrenamiento y el servicio de aplicaciones de IA generativa. «Tras el reciente lanzamiento de las instancias G2 de Google Cloud, estamos orgullosos de continuar nuestro trabajo con Google Cloud para ayudar a transformar las empresas de todo el mundo con una infraestructura de IA especialmente diseñada.»

Infraestructura de IA totalmente gestionada y optimizada para el rendimiento y el coste

Los clientes que deseen desarrollar modelos de Inteligencia Artificial complejos sin necesidad de mantenimiento pueden desplegar máquinas virtuales A3 en Vertex AI, una plataforma integral para crear modelos de Inteligencia Artificial en una infraestructura totalmente gestionada, diseñada específicamente para ofrecer servicios de baja latencia y formación de alto rendimiento. Hoy, en Google I/O 2023, nos complace ampliar estas ofertas abriendo el soporte de IA generativa en Vertex AI a más clientes e introduciendo nuevas funciones y modelos básicos.

Para los clientes que deseen diseñar su propia pila de software personalizada, también pueden implementar A3 VM en Google Kubernetes Engine (GKE) y Compute Engine, para que pueda entrenar y servir los últimos modelos básicos, mientras disfruta de soporte para autoescalado, orquestación de carga de trabajo y actualizaciones automáticas.

«Las instancias A3 VM de Google Cloud nos proporcionan la potencia computacional y la escala para nuestras cargas de trabajo de entrenamiento e inferencia más exigentes. Estamos deseando aprovechar su experiencia en el espacio de la IA y su liderazgo en infraestructuras a gran escala para ofrecer una plataforma sólida para nuestras cargas de trabajo de ML.» -Noam Shazeer, CEO de Character.AI

En Google Cloud, la IA está en nuestro ADN. Hemos aplicado décadas de experiencia ejecutando informática a escala global para la IA. Hemos diseñado esa infraestructura para que sea escalable y esté optimizada para ejecutar una amplia variedad de cargas de trabajo de IA, y ahora la ponemos a tu disposición.