Intel anunció que es la única compañía que logra soporte completo para unidades de procesamiento neuronal (NPU) en el benchmark MLPerf Client v0.6 recientemente lanzado. El resultado marca la primera evaluación estandarizada de la industria del rendimiento del modelo de lenguaje grande (LLM) en las NPU de los clientes. Las mediciones de Intel de MLPerf Client v0.6 muestran que los procesadores Intel Core Ultra Series 2 pueden producir resultados tanto en la unidad de procesamiento de gráficos (GPU) como en la NPU mucho más rápido de lo que puede leer un humano típico.
«Estamos orgullosos de liderar la industria al permitir la aceleración completa de NPU y el rendimiento de GPU líder en la industria para cargas de trabajo de IA en plataformas de PC cliente. Este éxito refleja la profunda optimización conjunta de hardware y software de Intel y su compromiso con la democratización de la IA para las PC de todo el mundo», dijo Daniel Rogers, vicepresidente y gerente general de marketing de productos para PC de Intel.
Con sus procesadores Intel Core Ultra Series 2, Intel está a la vanguardia de la evolución de la IA en PC, ofreciendo un rendimiento de computación de IA sin precedentes que abarca la unidad central de procesamiento (CPU), la GPU y la NPU.
MLPerf Client v0.6 mide cuatro casos de uso de generación y resumen de contenido basados en el modelo Llama 2 7B. Intel demostró un rendimiento líder en NPU y GPU Intel Arc integrada.
Intel logró el tiempo de respuesta de NPU más rápido, generando la primera palabra en solo 1,09 segundos (latencia del primer token), lo que significa que comienza a responder casi inmediatamente después de recibir un mensaje. También entregó el rendimiento más alto de NPU con 18,55 tokens por segundo, refiriéndose a la rapidez con la que el sistema puede generar cada fragmento de texto adicional, lo que permite una interacción fluida con la IA en tiempo real. Además, en comparación con la competencia, Intel mostró el liderazgo de la GPU en el tiempo hasta el primer token, comenzando más rápido que la competencia y reforzando su ventaja de aceleración de IA de extremo a extremo de NPU y GPU.
Acerca de NPU Benchmarking en MLPerf: Desarrollado en colaboración por los miembros del consorcio MLCommons, incluidos Intel, AMD, Microsoft, NVIDIA y Qualcomm, MLPerf Client v0.6 se extiende más allá de las pruebas anteriores centradas en GPU para incluir ahora pruebas comparativas de NPU dedicadas.
Impulsados por la estrecha colaboración entre el hardware NPU de Intel y los equipos de software OpenVINO, los procesadores Intel Core Ultra siguen siendo la única NPU que logra el cumplimiento completo de NPU en el punto de referencia final.
