AMD ha lanzado un nuevo proyecto de código abierto llamado GAIA (pronunciado /ˈɡaɪ.ə/), una aplicación increíble que aprovecha el poder de la unidad de procesamiento neuronal (NPU) de IA de Ryzen para ejecutar modelos de lenguaje (LLM) grandes privados y locales. En este blog, profundizaremos en las características y beneficios de GAIA, al tiempo que presentaremos cómo puede aprovechar el proyecto de código abierto de GAIA para adoptarlo en sus propias aplicaciones.
Introducción a GAIA
GAIA es una aplicación de IA generativa diseñada para ejecutar LLM locales y privados en PC con Windows y está optimizada para el hardware de IA AMD Ryzen (procesadores AMD Ryzen AI serie 300). Esta integración permite un procesamiento más rápido y eficiente, es decir, de menor potencia, al tiempo que mantiene sus datos locales y seguros. En los PC con IA de Ryzen, GAIA interactúa con la NPU y la iGPU para ejecutar modelos sin problemas mediante el uso del SDK de código abierto Lemonade (LLM-Aid) de ONNX TurnkeyML para la inferencia de LLM. GAIA admite una variedad de LLM locales optimizados para ejecutarse en PC con IA Ryzen. Los modelos populares, como los derivados de Llama y Phi, se pueden adaptar a diferentes casos de uso, como preguntas y respuestas, resúmenes y tareas de razonamiento complejas.
Primeros pasos con GAIA
Para empezar a utilizar GAIA en menos de 10 minutos. Siga las instrucciones para descargar e instalar GAIA en su PC Ryzen AI. Una vez instalado, puede iniciar GAIA y comenzar a explorar sus diversos agentes y capacidades. Hay 2 versiones de GAIA:
- 1) Instalador de GAIA: se ejecutará en cualquier PC con Windows; sin embargo, el rendimiento puede ser más lento.
- 2) GAIA Hybrid Installer: este paquete está optimizado para ejecutarse en PC Ryzen AI y utiliza la NPU y la iGPU para un mejor rendimiento.
La canalización RAG del agente
Una de las características más destacadas de GAIA es su canalización de generación aumentada de recuperación de agentes (RAG). Esta canalización combina un LLM con una base de conocimientos, lo que permite al agente recuperar información relevante, razonar, planificar y utilizar herramientas externas dentro de un entorno de chat interactivo. Esto da como resultado respuestas más precisas y conscientes del contexto.
Los agentes GAIA actuales habilitan las siguientes capacidades:
- Finalización rápida simple: No hay agente para la interacción directa del modelo para pruebas y evaluaciones.
- Chaty: un chatbot de LLM con historial que entabla conversación con el usuario.
- Clip: un agente de RAG de Agentic para la búsqueda de YouTube y preguntas y respuestas.
- Joker: un sencillo generador de chistes que utiliza RAG para aportar humor al usuario.
Actualmente se están desarrollando agentes adicionales, y se anima a los desarrolladores a crear y contribuir con su propio agente a GAIA.
¿Cómo funciona GAIA?
El lado izquierdo de la Figura 2: Diagrama general de GAIA ilustra la funcionalidad del SDK de Lemonade de TurnkeyML. El SDK de Lemonade proporciona herramientas para tareas específicas de LLM, como la solicitud, la medición de la precisión y el servicio en varios tiempos de ejecución (por ejemplo, Hugging Face, ONNX Runtime GenAI API) y hardware (CPU, iGPU y NPU).
Lemonade expone un servicio web LLM que se comunica con la aplicación GAIA (a la derecha) a través de una API REST compatible con OpenAI. GAIA consta de tres componentes clave:
- 1) Conector LLM: conecta la API web del servicio NPU con la canalización RAG basada en LlamaIndex.
- 2) LlamaIndex RAG Pipeline: incluye un motor de consultas y memoria vectorial, que procesa y almacena información externa relevante.
- 3) Servidor web del agente: se conecta a la interfaz de usuario de GAIA a través de WebSocket, lo que permite la interacción del usuario.
En el lado derecho de la figura, GAIA actúa como un agente impulsado por IA que recupera y procesa datos. Vectoriza contenido externo (por ejemplo, GitHub, YouTube, archivos de texto) y lo almacena en un índice vectorial local. Cuando un usuario envía una consulta, se produce el siguiente proceso:
- 1) La consulta se envía a GAIA, donde se transforma en un vector de incrustación.
- 2) La consulta vectorizada se utiliza para recuperar el contexto relevante de los datos indexados.
- 3) El contexto recuperado se pasa al servicio web, donde se incrusta en el símbolo del sistema del LLM.
- 4) El LLM genera una respuesta, que se transmite a través del servicio web GAIA y se muestra en la interfaz de usuario.
Este proceso garantiza que las consultas de los usuarios se mejoren con el contexto relevante antes de ser procesadas por el LLM, lo que mejora la precisión y la relevancia de las respuestas. La respuesta final se entrega al usuario en tiempo real a través de la interfaz de usuario.
Beneficios de ejecutar LLM localmente
La ejecución de LLM localmente en la NPU ofrece varias ventajas:
- Mayor privacidad, ya que no es necesario que los datos salgan de su máquina. Esto elimina la necesidad de enviar información confidencial a la nube, lo que mejora en gran medida la privacidad y la seguridad de los datos, al tiempo que ofrece capacidades de IA de alto rendimiento.
- Latencia reducida, ya que no es necesario comunicarse con la nube.
- Rendimiento optimizado con la NPU, lo que conduce a tiempos de respuesta más rápidos y menor consumo de energía.
Comparación de NPU e iGPU
La ejecución de GAIA en la NPU da como resultado un rendimiento mejorado para tareas específicas de IA, ya que está diseñado para cargas de trabajo de inferencia. A partir de la versión 1.3 del software Ryzen AI, existe soporte híbrido para implementar LLM cuantificados que utilizan tanto la NPU como la iGPU. Mediante el uso de ambos componentes, cada uno se puede aplicar a las tareas y operaciones para las que están optimizados.
Aplicaciones e Industrias
Esta configuración podría beneficiar a los sectores que requieren un alto rendimiento y privacidad, como la sanidad, las finanzas y las aplicaciones empresariales, donde la privacidad de los datos es fundamental. También se puede aplicar en campos como la creación de contenidos y la automatización del servicio de atención al cliente, donde los modelos de IA generativa se están volviendo esenciales. Por último, ayuda a las industrias sin Wi-Fi a enviar datos a la nube y recibir respuestas, ya que todo el procesamiento se realiza localmente.
Conclusión
En conclusión, GAIA, una aplicación de código abierto de AMD, utiliza la potencia de la NPU Ryzen AI para ofrecer LLM eficientes, privados y de alto rendimiento. Al ejecutar LLM localmente, GAIA garantiza una privacidad mejorada, una latencia reducida y un rendimiento optimizado, lo que lo hace ideal para las industrias que priorizan la seguridad de los datos y los tiempos de respuesta rápidos.
