En un esfuerzo continuo por mejorar la usabilidad de las búsquedas en bases de datos vectoriales de IA dentro de los sistemas de generación aumentada de recuperación (RAG) mediante la optimización del uso de unidades de estado sólido (SSD), Kioxia Corporation anunció una actualización de su software KIOXIA AiSAQ (All-in-Storage ANNS with Product Quantization). Esta nueva versión de código abierto introduce controles flexibles que permiten a los arquitectos de sistemas definir el punto de equilibrio entre el rendimiento de la búsqueda y el número de vectores, que son factores opuestos en la capacidad fija del almacenamiento SSD en el sistema. El beneficio resultante permite a los arquitectos de sistemas RAG ajustar el equilibrio óptimo de cargas de trabajo específicas y sus requisitos, sin ninguna modificación de hardware.
Presentado por primera vez en enero de 2025, el software KIOXIA AiSAQ utiliza un novedoso algoritmo de búsqueda aproximada del vecino más cercano (ANNS) que está optimizado para SSD y elimina la necesidad de almacenar datos de índice en DRAM. Al permitir las búsquedas vectoriales directamente en las SSD y reducir los requisitos de memoria del host, la tecnología AiSAQ de KIOXIA permite que las bases de datos vectoriales se amplíen, en gran medida sin las restricciones causadas por la capacidad limitada de DRAM.
Cuando la capacidad instalada de la SSD en el sistema es fija, el aumento del rendimiento de la búsqueda (consultas por segundo) requiere más capacidad de la SSD consumida por vector. Esto da como resultado un menor número de vectores. Por el contrario, para maximizar el número de vectores, es necesario reducir el consumo de capacidad de SSD por vector, lo que se traduce en un menor rendimiento. El equilibrio óptimo entre estas dos condiciones opuestas varía en función de la carga de trabajo específica. Para encontrar el equilibrio adecuado, el software KIOXIA AiSAQ presenta opciones de configuración flexibles. Esta última actualización permite a los administradores seleccionar el equilibrio óptimo para una variedad de cargas de trabajo contrastantes entre el sistema RAG. Esta actualización convierte a la tecnología AiSAQ de KIOXIA en un ANNS basado en SSD adecuado no solo para aplicaciones RAG, sino también para otras aplicaciones que requieren muchos vectores, como las búsquedas semánticas fuera de línea.
Con la creciente demanda de servicios de IA escalables, las SSD ofrecen una alternativa práctica a la DRAM para gestionar el alto rendimiento y la baja latencia que requieren los sistemas RAG. El software KIOXIA AiSAQ permite satisfacer estas demandas de manera eficiente, lo que permite la IA generativa a gran escala sin estar limitado por recursos de memoria limitados.
Al lanzar el software KIOXIA AiSAQ como código abierto, Kioxia refuerza su compromiso con la comunidad de IA con la promoción de arquitecturas centradas en SSD para una IA escalable.
