En los últimos resultados del benchmark MLPerf Inference v6.1 de MLCommons, Intel destacó las mejoras en el rendimiento de la inferencia de IA obtenidas mediante la optimización de software en procesadores Intel Xeon 6 y GPUs Intel Arc Pro B-series. Los resultados también reflejan una creciente participación de clientes y socios, con más sistemas validando plataformas Intel en más modelos, cargas de trabajo y escenarios de despliegue.
Con el mismo recuento de silicio y zócalo usado como MLPerf v6.0, los procesadores Intel Xeon 6980P ofrecieron un aumento de 2,4 veces en el rendimiento del servidor Llama 3.1 8B y un incremento del 56% en el rendimiento offline¹¹. Estas mejoras se lograron únicamente gracias a mejoras de software, mostrando cómo la optimización continua puede ofrecer más rendimiento del hardware que los clientes ya han desplegado. Los socios de Intel demostraron un impulso similar.
«MLPerf Inference v6.1 demuestra cómo una optimización sostenida del software puede desbloquear un rendimiento significativo de hardware que los clientes ya han desplegado. En Xeon y Arc Pro, seguimos mejorando toda la pila de software de IA mientras ampliamos la gama de modelos, cargas de trabajo y sistemas que nuestras plataformas pueden soportar.» – Bill Pearson, vicepresidente de Intel, Software de Centros de Datos, Grupo de Centros de Datos
A medida que la inferencia de IA entra en producción, los clientes necesitan plataformas que puedan soportar modelos más grandes y diversos, al tiempo que logran mejoras en el rendimiento, flexibilidad y valor a lo largo del tiempo. Los resultados de MLPerf Inference v6.1 de Intel demuestran cómo la optimización de software puede extender el rendimiento útil de la infraestructura desplegada, ayudando a los clientes a obtener más de los sistemas que ya utilizan mientras escalan entre CPU y GPU.
La participación de clientes y socios en las plataformas Intel también aumentó de 29 resultados en la v6.0 a 39 en la v6.1, ampliando la validación de terceros más allá de las propias presentaciones de Intel². Oracle contribuyó con su primera presentación basada en Intel; Red Hat entregó su primera presentación de inferencia de CPU Xeon, y Quanta Cloud Technology y Supermicro proporcionaron las primeras presentaciones de socios usando Intel Arc Pro B70.
