En la Conferencia Internacional sobre Aprendizaje Automático (ICML), investigadores de Intel Labs y el Instituto Weizmann de Ciencias presentaron un importante avance en la decodificación especulativa. La nueva técnica, presentada en la conferencia en Vancouver, Canadá, permite que cualquier modelo de «borrador» pequeño acelere cualquier modelo de lenguaje grande (LLM) independientemente de las diferencias de vocabulario. «Hemos resuelto una ineficiencia central en la IA generativa. Nuestra investigación muestra cómo convertir la aceleración especulativa en una herramienta universal. No se trata solo de una mejora teórica; estas son herramientas prácticas que ya están ayudando a los desarrolladores a crear aplicaciones más rápidas e inteligentes hoy en día», dijo Oren Pereg, investigador senior del Grupo de Procesamiento del Lenguaje Natural de Intel Labs.
La decodificación especulativa es una técnica de optimización de inferencia diseñada para hacer que los LLM sean más rápidos y eficientes sin comprometer la precisión. Funciona emparejando un modelo pequeño y rápido con uno más grande y preciso, creando un «esfuerzo de equipo» entre modelos. Considere la indicación de un modelo de IA: «¿Cuál es la capital de Francia…» Un LLM tradicional genera cada palabra paso a paso. Calcula completamente «París», luego «a», luego «famoso», luego «ciudad» y así sucesivamente, consumiendo recursos significativos en cada paso. Con la decodificación especulativa, el pequeño modelo asistente redacta rápidamente la frase completa «París, una ciudad famosa…» A continuación, el modelo grande verifica la secuencia. Esto reduce drásticamente los ciclos de proceso por token de salida.
Por qué es importante: Este método universal de Intel y el Instituto Weizmann elimina las limitaciones de los vocabularios compartidos o las familias de modelos entrenados conjuntamente, lo que hace que la decodificación especulativa sea práctica en modelos heterogéneos. Ofrece ganancias de rendimiento de inferencia hasta 2,8 veces más rápidas sin pérdida de calidad de salida. También funciona en modelos de diferentes desarrolladores y ecosistemas, lo que lo hace independiente del proveedor; está listo para código abierto a través de la integración con la biblioteca Hugging Face Transformers.
En un panorama de IA fragmentado, este avance de decodificación especulativa promueve la apertura, la interoperabilidad y la implementación rentable desde la nube hasta el borde. Los desarrolladores, las empresas y los investigadores ahora pueden mezclar y combinar modelos para adaptarse a sus necesidades de rendimiento y restricciones de hardware». Este trabajo elimina una importante barrera técnica para hacer que la IA generativa sea más rápida y barata», dijo Nadav Timor, estudiante de doctorado en el grupo de investigación del profesor David Harel en el Instituto Weizmann. «Nuestros algoritmos desbloquean aceleraciones de última generación que anteriormente solo estaban disponibles para organizaciones que entrenan sus propios modelos de borrador pequeños».
El trabajo de investigación presenta tres nuevos algoritmos que desacoplan la codificación especulativa de la alineación del vocabulario. Esto abre la puerta a una implementación flexible de LLM en la que los desarrolladores emparejan cualquier modelo de borrador pequeño con cualquier modelo grande para optimizar la velocidad y el costo de la inferencia en todas las plataformas.
La investigación no es solo teórica. Los algoritmos ya están integrados en la biblioteca de código abierto Hugging Face Transformers utilizada por millones de desarrolladores. Con esta integración, la aceleración avanzada de LLM está disponible de forma inmediata sin necesidad de código personalizado.
