La semana pasada, AMD compartió tutoriales con un paso a paso para descargar y ejecutar un chatbot de IA con LLM en PCs con Ryzen AI o con tarjetas gráficas Radeon. Esto habilita la Retrieval Augmented Generation, que permite mejorar y proporcionar contexto con un LLM. A su vez, usa un LLM local para que se pueda escribir código con confianza. La ejecución local de estas aplicaciones mantiene la privacidad de los datos en su PC con IA e incluso funciona sin conexión a Internet.
- Cómo ejecutar el Large Language Model (LLM) en su PC con AMD Ryzen AI o tarjeta gráfica Radeon
- Cómo habilitar RAG (Retrieval Augmented Generation) en una PC con AMD Ryzen AI
- Cómo obtener un asistente de codificación de IA en su PC con AMD Ryzen AI
Para ver cómo esto cobra vida, AMD grabó demostraciones de pruebas de rendimiento en paralelo, mostrando las capacidades del sistema Ryzen AI en la ejecución de aplicaciones de inteligencia artificial comparado con la competencia. Los tests evidencian cómo Ryzen AI supera a Intel Core Ultra 7 en la generación de contenido – incluida la escritura de código – con velocidades más rápidas en un chatbot de IA LLM.
Los datos de rendimiento de Ryzen AI frente a Core Ultra 7 155H incluyen:
- En cuanto a los tokens por segundo, Ryzen AI funciona hasta un 17% más rápido en Mistral Instruct y hasta un 14% más rápido en LLAMA v2 Chat.
- Para el tiempo hasta el primer token, Ryzen AI funciona hasta un 41% más rápido en Mistral Instruct y hasta un 79% más rápido en LLAMA v2 Chat.
Para obtener más información, puede consultar los materiales que incluyen la plataforma de prensa, la sesión informativa y las demostraciones aquí.
Nota: En la grabación, durante la voz en off de la diapositiva 6 (alrededor del minuto 5), usamos un término erróneo:
- Es la pérdida de perplejidad y no la pérdida de precisión y
- es el 87% para el Q2, no el 10%
Las pérdidas por perplejidad para llama.cpp cuantificaciones mencionadas son:
Q2 – 87% Pérdida de perplejidad
Q 4 K M – 5.4% pérdida de perplejidad (recomendado por AMD para el uso diario, también recomendado por Meta)
Q5 K M – 1.4% pérdida de perplejidad (recomendada por AMD para la codificación, también recomendada por Meta)
Esto se puede ver con el comando quantize –help en llama.cpp
 Generativa se ha vuelto un tema de debate, especialmente en el aspecto laboral, ya que muchos lo consideran){kind=link}
