ASUS anunció el acelerador de IA USB UGen300, el primer dispositivo USB de IA de ASUS, que aporta el rendimiento de inferencia directamente a cualquier dispositivo. También está disponible una versión M.2. Este acelerador de IA delgado mide 105 x 50 x 18 mm y cuenta con el procesador de IA Hailo-10H, que entrega 40 MÁXIMOS de IA de potencia dedicada para soportar grandes modelos de lenguaje como LLMs, VLMs y más. UGen300 incluye 8 GB de memoria dedicada LPDDR4 y se conecta a otros dispositivos mediante una interfaz USB-C, consumiendo solo 2,5 vatios de energía bajo cargas de trabajo típicas. El cómodo diseño plug-and-play garantiza compatibilidad multiplataforma con Windows, Linux y Android. UGen300 también soporta frameworks de IA importantes como TensorFlow, PyTorch y ONNX, desde el primer momento.
«Al integrar el Hailo-10H en un dispositivo USB ubicuo, ASUS lleva todo el poder de la IA y la IA generativa a todo el mundo», dijo Max Glover, Director de Ingresos de Hailo. «Estamos emocionados por ver cómo nuestra comunidad de desarrolladores utilizará este acelerador plug-and-play para ampliar los límites de la IA en el dispositivo. Así es exactamente como Hailo imagina el futuro de la IA: accesible, asequible y diseñado para que cualquiera pueda construir con él.»
Rendimiento inigualable de IA de generación edge
El acelerador de IA USB ASUS UGen300 cuenta con un procesador AI Hailo-10H integrado que ofrece 40 MÁXIMOS de rendimiento dedicado a IA y está optimizado para cargas de trabajo de IA generativa, incluyendo inferencia LLM y tareas de lenguaje visual. Complementa la CPU y las NPUs del dispositivo anfitrión y proporciona aceleración de IA para liberar recursos del sistema, permitiendo la inferencia generativa de IA en el dispositivo sin depender de la computación en la nube.
En comparación con la IA basada en la nube, los usuarios de UGen300 no pagan suscripción mensual, no experimentan latencia y disfrutan de una fiabilidad y privacidad inigualables. El UGen300 puede ejecutar aplicaciones exigentes de IA de generación como generación de texto, resumen de vídeo, activación de eventos, voz a acción y percepción en tiempo real. Su diseño de baja potencia consume solo 2,5 vatios para permitir una IA eficiente y de alto rendimiento en el borde.
8 GB de memoria LPDDR4
ASUS UGen300 tiene memoria dedicada LPDDR4 integrada de 8 GB para cálculos estables de IA y ejecuciones de grandes modelos. Permite a los sistemas anfitriones que carecen de capacidades de IA para ejecutar eficazmente las herramientas, asumiendo cargas de trabajo pesadas en IA para asegurar un equilibrio óptimo del sistema mientras maximiza la eficiencia y el potencial de multitarea. A diferencia de las NPU típicas que comparten memoria del sistema, la arquitectura de RAM dedicada de UGen300 previene cuellos de botella y garantiza un rendimiento consistente para desarrolladores y profesionales que ejecutan pipelines complejos de IA.
Comodidad plug and play
La interfaz USB 3.1 Gen 2 Type-C ofrece una comodidad plug-and-play para proporcionar un acelerador de IA edge verdaderamente independiente de la plataforma, compatible con dispositivos de consumo e industriales. ASUS UGen300 ofrece soporte multiplataforma en los ecosistemas de Windows, Linux y Android, así como una amplia compatibilidad con los principales frameworks de IA como TensorFlow, PyTorch y ONNX. UGen300 es ideal para desarrolladores, educadores y proveedores de soluciones embebidas que necesitan potencia de cálculo escalable y portátil.
UGen300 cuenta con el apoyo de un ecosistema optimizado diseñado para acelerar el desarrollo de la IA. La próxima UGen Utility permitirá una validación rápida utilizando más de 100 modelos preentrenados para un comienzo sencillo. Los usuarios también pueden conectarse con la Comunidad de Desarrolladores de Hailo para recibir tutoriales, diseños de referencia y compartir ideas para ayudar a los desarrolladores a construir y desplegar aplicaciones de IA en el borde más rápido.
