Empresas de todos los sectores están implementando servicios de IA este año. Para Microsoft, Oracle, Perplexity, Snap y cientos de otras empresas líderes, el uso de la plataforma de inferencia de IA de NVIDIA, una pila completa que comprende silicio, sistemas y software de clase mundial, es la clave para ofrecer inferencia de alto rendimiento y baja latencia y permitir excelentes experiencias de usuario al tiempo que se reducen los costos. Los avances de NVIDIA en la optimización del software de inferencia y la plataforma NVIDIA Hopper están ayudando a las industrias a ofrecer los últimos modelos de IA generativa, ofreciendo excelentes experiencias de usuario y optimizando el coste total de propiedad. La plataforma Hopper también ayuda a ofrecer hasta 15 veces más eficiencia energética para las cargas de trabajo de inferencia en comparación con las generaciones anteriores.
La inferencia de IA es notoriamente difícil, ya que requiere muchos pasos para lograr el equilibrio adecuado entre el rendimiento y la experiencia del usuario. Pero el objetivo subyacente es simple: generar más tokens a un costo menor. Los tokens representan palabras en un sistema de modelo de lenguaje grande (LLM), y dado que los servicios de inferencia de IA suelen cobrar por cada millón de tokens generados, este objetivo ofrece el retorno más visible de las inversiones en IA y la energía utilizada por tarea. La optimización de software full-stack ofrece la clave para mejorar el rendimiento de la inferencia de IA y lograr este objetivo.
Rendimiento de usuario rentable
A menudo, las empresas se enfrentan al reto de equilibrar el rendimiento y los costos de las cargas de trabajo de inferencia. Mientras que algunos clientes o casos de uso pueden trabajar con un modelo listo para usar o alojado, otros pueden requerir personalización. Las tecnologías de NVIDIA simplifican la implementación de modelos a la vez que optimizan el costo y el rendimiento de las cargas de trabajo de inferencia de IA. Además, los clientes pueden experimentar flexibilidad y personalización con los modelos que elijan implementar.
Los microservicios NVIDIA NAM, el servidor de inferencia NVIDIA Triton y la biblioteca NVIDIA TensorRT son algunas de las soluciones de inferencia que NVIDIA ofrece para satisfacer las necesidades de los usuarios:
- Los microservicios de inferencia NVIDIA NIM están preempaquetados y optimizados para el rendimiento para implementar rápidamente modelos de base de IA en cualquier infraestructura: nube, centros de datos, perímetro o estaciones de trabajo.
- NVIDIA Triton Inference Server, uno de los proyectos de código abierto más populares de la compañía, permite a los usuarios empaquetar y servir cualquier modelo, independientemente del marco de IA en el que se entrenó.
- NVIDIA TensorRT es una biblioteca de inferencia de aprendizaje profundo de alto rendimiento que incluye optimizaciones de modelos y tiempo de ejecución para ofrecer inferencia de baja latencia y alto rendimiento para aplicaciones de producción.
Disponible en los principales mercados de la nube, la plataforma de software NVIDIA AI Enterprise incluye todas estas soluciones y proporciona soporte, estabilidad, capacidad de gestión y seguridad de nivel empresarial.
Con la plataforma de inferencia de IA de NVIDIA, independiente del marco, las empresas ahorran en productividad, desarrollo y costos de infraestructura y configuración. El uso de las tecnologías de NVIDIA también puede aumentar los ingresos comerciales al ayudar a las empresas a evitar el tiempo de inactividad y las transacciones fraudulentas, aumentar las tasas de conversión de compras de comercio electrónico y generar nuevas fuentes de ingresos impulsadas por IA.
Inferencia de LLM basada en la nube
Para facilitar la implementación de LLM, NVIDIA ha colaborado estrechamente con todos los principales proveedores de servicios en la nube para garantizar que la plataforma de inferencia de NVIDIA se pueda implementar sin problemas en la nube con un mínimo o ningún código requerido. NVIDIA NIM está integrado con servicios nativos de la nube como:
- Amazon SageMaker AI, Amazon Bedrock Marketplace, Amazon Elastic Kubernetes Service
- IA de vértices de Google Cloud, motor de Google Kubernetes
- Microsoft Azure AI Foundry próximamente, Azure Kubernetes Service
- Herramientas de ciencia de datos de Oracle Cloud Infrastructure, Oracle Cloud Infrastructure Kubernetes Engine
Además, para implementaciones de inferencia personalizadas, NVIDIA Triton Inference Server está profundamente integrado en todos los principales proveedores de servicios en la nube.
Por ejemplo, con la plataforma de ciencia de datos de OCI, el despliegue de NVIDIA Triton es tan sencillo como activar un conmutador en los argumentos de la línea de comandos durante el despliegue del modelo, lo que inicia instantáneamente un punto final de inferencia de NVIDIA Triton.
Del mismo modo, con Azure Machine Learning, los usuarios pueden implementar NVIDIA Triton con la implementación sin código a través de Azure Machine Learning Studio o con la implementación de código completo con la CLI de Azure Machine Learning. AWS proporciona una implementación con un solo clic para NVIDIA NIM desde SageMaker Marketplace y Google Cloud proporciona una opción de implementación con un solo clic en Google Kubernetes Engine (GKE). Google Cloud ofrece una opción de implementación con un solo clic en Google Kubernetes Engine, mientras que AWS ofrece NVIDIA Triton en sus contenedores de AWS Deep Learning.
La plataforma de inferencia de IA de NVIDIA también utiliza métodos de comunicación populares para entregar predicciones de IA, ajustándose automáticamente para adaptarse a las necesidades crecientes y cambiantes de los usuarios dentro de una infraestructura basada en la nube.
Desde la aceleración de los LLM hasta la mejora de los flujos de trabajo creativos y la transformación de la gestión de acuerdos, la plataforma de inferencia de IA de NVIDIA está impulsando el impacto en el mundo real en todas las industrias. Descubra cómo la colaboración y la innovación están permitiendo a las organizaciones siguientes alcanzar nuevos niveles de eficiencia y escalabilidad.
