AMD Instinct MI300X ya está disponible

AMD anunció la disponibilidad de los aceleradores AMD Instinct MI300X, con ancho de banda de memoria líder en la industria para IA generativa y rendimiento de liderazgo para capacitación e inferencia de Modelos de Lenguaje de Gran Tamaño (LLM), así como la unidad de procesamiento acelerado (APU) AMD Instinct MI300A, que combina la última arquitectura AMD CDNA 3 y CPU “Zen 4” para ofrecer un rendimiento innovador para cargas de trabajo de computación de alto rendimiento (HPC) e IA.

“Los aceleradores de la Serie AMD Instinct MI300 están diseñados con nuestras tecnologías más avanzadas, ofreciendo un rendimiento líder y estarán en implementaciones empresariales y en la nube a gran escala”, dijo Victor Peng, presidente de AMD. «Al aprovechar nuestro liderazgo en hardware, software y enfoque de ecosistema abierto, los proveedores de nube, fabricantes de equipos originales, y fabricantes de diseño original (OEM y ODM por sus siglas en inglés) están llevando al mercado tecnologías que permiten a las empresas adoptar e implementar soluciones impulsadas por IA.”

Los clientes que aprovechan la última cartera de aceleradores AMD Instinct incluyen a Microsoft, que recientemente anunció la nueva Serie de máquinas virtuales (VM) Azure ND MI300x v5, optimizadas para cargas de trabajo de IA y con tecnología de aceleradores AMD Instinct MI300X. Además, se espera que El Capitan, una supercomputadora impulsada por una unidad de procesamiento acelerado AMD Instinct MI300A y alojada en el Laboratorio Nacional Lawrence Livermore, sea la segunda supercomputadora de clase exaescala impulsada por AMD, que ofrezca más de dos exaflops de rendimiento de doble precisión cuando esté completamente implementada. Oracle Cloud Infrastructure planea agregar instancias bare metal basadas en AMD Instinct MI300X a las instancias informáticas aceleradas de alto rendimiento para IA de la compañía. Está previsto que las instancias basadas en MI300X admitan OCI Supercluster con redes RDMA ultrarrápidas.

Varios fabricantes de equipos originales importantes también exhibieron sistemas informáticos acelerados, durante el evento AMD Advancing AI. Dell presentó el servidor Dell PowerEdge XE9680 con ocho aceleradores AMD Instinct y el nuevo diseño validado de Dell para IA generativa con frameworks de IA impulsados ​​por AMD ROCm. HPE anunció recientemente el HPE Cray Supercomputing EX255a, el primer acelerador blade de supercomputación impulsado por unidades de procesamiento acelerado (APU) AMD Instinct MI300A, que estará disponible a principios de 2024. Lenovo anunció su soporte de diseño para los nuevos aceleradores Serie AMD Instinct MI300 a disposición durante la primera mitad de 2024. Supermicro anunció nuevas incorporaciones a su generación H13 de servidores acelerados por CPUs AMD EPYC de cuarta generación y aceleradores Serie AMD Instinct MI300.

AMD Instinct MI300X

Los aceleradores AMD Instinct MI300X funcionan con la nueva arquitectura AMD CDNA 3. En comparación con los aceleradores AMD Instinct MI250X de la generación anterior, MI300X ofrece casi un 40 % más de unidades de cómputo, 1,5 veces más capacidad de memoria, 1,7 veces más ancho de banda de memoria teórico máximo, así como soporte para nuevos formatos matemáticos como FP8 y sparsity; todo orientado a cargas de trabajo de IA y HPC.

Los LLM actuales continúan aumentando en tamaño y complejidad, y requieren cantidades masivas de memoria y computación. Los aceleradores AMD Instinct MI300X cuentan con 192 GB de capacidad de memoria HBM3, la mejor de su clase, así como un ancho de banda de memoria máximo de 5,3 TB/s2 para ofrecer el rendimiento necesario para cargas de trabajo de IA cada vez más exigentes. La plataforma AMD Instinct es una plataforma de IA generativa construida sobre un diseño OCP estándar de la industria con ocho aceleradores MI300X para ofrecer una capacidad de memoria HBM3 de 1,5 TB líder en la industria. El diseño estándar de la industria de la plataforma AMD Instinct permite a los socios OEM diseñar aceleradores MI300X en ofertas de IA existentes y simplificar la implementación y acelerar la adopción de servidores basados ​​en aceleradores AMD Instinct.

En comparación con la Nvidia H100 HGX, la plataforma AMD Instinct puede ofrecer un aumento de rendimiento de hasta 1,6 veces cuando se ejecuta inferencia en LLM como BLOOM 176B y es la única opción en el mercado capaz de ejecutar inferencia para un modelo de parámetros de 70B, como Llama2. en un único acelerador MI300X; simplificando las implementaciones de LLM de clase empresarial y ofreciendo un costo total de la propiedad (TCO) excepcional.

AMD Instinct MI300A

AMD Instinct MI300A, la primera APU del mundo para centros de datos enfocada en HPC e IA, aprovecha el apilado 3D y la arquitectura AMD Infinity de cuarta generación para ofrecer un rendimiento líder en cargas de trabajo críticas ubicadas en la convergencia de HPC e IA. Las APU MI300A combinan núcleos de GPU AMD CDNA™ 3 de alto rendimiento, los últimos núcleos de CPU basados ​​en AMD “Zen 4” x86 y 128 GB de memoria HBM3 de próxima generación, para ofrecer 1,9 veces el rendimiento por vatio en cargas de trabajo de computación de alto rendimiento FP32 e IA, en comparación con la generación anterior AMD Instinct MI250X.

La eficiencia energética es de suma importancia para las comunidades de HPC e IA; sin embargo, estas cargas de trabajo requieren un gran uso de datos y recursos. Las APU AMD Instinct MI300A se benefician de la integración de núcleos de CPU y GPU en un solo paquete, lo que brinda una plataforma altamente eficiente y, al mismo tiempo, proporciona el rendimiento informático para acelerar el entrenamiento de los últimos modelos de IA. AMD está marcando el ritmo de la innovación en eficiencia energética con el objetivo 30×25 de la compañía de ofrecer una mejora de 30 veces la eficiencia energética en procesadores y aceleradores de servidores para capacitación en IA y HPC entre 2020 y 2025.

La ventaja de las unidades de procesamiento acelerado significa que las APU AMD Instinct MI300A cuentan con memoria unificada y recursos de caché, lo que brinda a los clientes una plataforma GPU fácilmente programable, computación de alto rendimiento, entrenamiento rápido de IA y una impresionante eficiencia energética para impulsar las cargas de trabajo de HPC e IA más exigentes.

Software ROCm y Socios de Ecosystem

AMD anunció la última plataforma de software abierto AMD ROCm™ 6, así como el compromiso de la compañía de contribuir con bibliotecas de última generación a la comunidad de código abierto, impulsando su visión sobre el desarrollo de software de IA. El software ROCm 6 representa un avance significativo para las herramientas de AMD, ya que aumenta el rendimiento de aceleración de IA en aproximadamente 8 veces cuando se ejecuta en aceleradores de la Serie MI300 en la generación de texto Llama 2 en comparación con el hardware y software de la generación anterior. Además, ROCm 6 agrega soporte para varias características clave nuevas para la IA generativa, incluidas FlashAttention, HIPGraph y vLLM, entre otras. Como tal, AMD está en una posición única para aprovechar los modelos, algoritmos y marcos de software de IA de código abierto más utilizados, como Hugging Face, PyTorch, TensorFlow y otros, impulsando la innovación, simplificando la implementación de las soluciones de IA de AMD y liberando el verdadero potencial. de IA generativa.

AMD también continúa invirtiendo en capacidades de software a través de las adquisiciones de Nod.AI y Mipsology, así como a través de asociaciones estratégicas de ecosistemas como Lamini (que ejecuta LLM para clientes empresariales) y MosaicML (que aprovecha AMD ROCm para permitir la capacitación de Modelos de Lenguaje de Gran Tamaño en aceleradores AMD Instinct con cero cambios de código.