Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers ya disponibles

AWS anuncia la disponibilidad general de Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers impulsados por nuestro chip de IA de cuarta generación Trainium3, nuestro primer chip de IA de 3nm de AWS diseñado específicamente para ofrecer la mejor economía de tokens para aplicaciones de próxima generación de agentes, razonamiento y generación de vídeo.

Cada chip AWS Trainium3 proporciona 2,52 petaflops (PFLOPs) de cómputo FP8, aumenta la capacidad de memoria en 1,5 veces y el ancho de banda en 1,7 veces sobre Trainium2 a 144 GB de memoria HBM3e y 4,9 TB/s de ancho de banda de memoria. Trainium3 está diseñado tanto para cargas de trabajo densas como para expertos paralelos con tipos de datos avanzados (MXFP8 y MXFP4) y un mejor equilibrio memoria-cálculo para tareas en tiempo real, multimodales y de razonamiento.

Los UltraServers de Trn3 pueden escalar hasta 144 chips Trainium3 (362 PFLOPs FP8 en total) y están disponibles en EC2 UltraClusters 3.0 para escalar hasta cientos de miles de chips. Un UltraServer Trn3 completamente configurado ofrece hasta 20,7 TB de HBM3e y 706 TB/s de ancho de banda agregado de memoria. La siguiente generación del Trn3 UltraServer cuenta con el NeuronSwitch-v1, un tejido all-to-all que duplica el ancho de banda de interconexión entre chips respecto al UltraServer Trn2.

Trn3 ofrece hasta 4,4 veces más rendimiento, 3,9 veces mayor ancho de banda de memoria y 4 veces mejor rendimiento/vatio en comparación con nuestros UltraServers Trn2, proporcionando el mejor precio y rendimiento para entrenar y servir modelos a escala de frontera, incluyendo aprendizaje por refuerzo, Mezcla de Expertos (MoE), razonamiento y arquitecturas de contexto largo. En Amazon Bedrock, Trainium3 es nuestro acelerador más rápido, ofreciendo hasta un 3× de rendimiento superior al Trainium2, con más de un 5× tokens de salida por megavatio y una latencia similar por usuario.

Los nuevos UltraServers Trn3 están diseñados para investigadores de IA y impulsados por el AWS Neuron SDK, para desbloquear un rendimiento revolucionario. Con la integración nativa de PyTorch, los desarrolladores pueden entrenar y desplegar sin cambiar ni una sola línea de código de modelo. Para los ingenieros de rendimiento de IA, hemos habilitado un acceso más profundo a Trainium3 para que puedan afinar el rendimiento, personalizar núcleos y llevar modelos aún más allá. Como la innovación prospera gracias a la apertura, estamos comprometidos a conectar con nuestros desarrolladores a través de herramientas y recursos de código abierto.