La nueva versión de su software open source optimiza el equilibrio entre rendimiento y capacidad de almacenamiento en SSD, sin depender de la memoria DRAM

Kioxia Corporation, líder global en soluciones de memoria, ha anunciado una importante actualización de su software AiSAQ (All-in-Storage ANNS with Product Quantization), diseñado para mejorar el rendimiento de búsqueda vectorial en sistemas de recuperación aumentada por generación (RAG, por sus siglas en inglés), aprovechando al máximo las capacidades de los discos de estado sólido (SSD) sin necesidad de usar memoria DRAM.

La nueva versión de AiSAQ, de código abierto, introduce controles configurables que permiten a los arquitectos de sistemas definir el punto óptimo entre el número de vectores almacenables y el rendimiento de búsqueda (queries por segundo), ajustando el sistema según los requisitos concretos de cada carga de trabajo, sin necesidad de modificar el hardware.

Un enfoque SSD-first para búsquedas vectoriales

Presentado originalmente en enero de 2025, AiSAQ emplea un algoritmo de búsqueda de vecinos más cercanos aproximados (ANNS) optimizado para SSDs, derivado de la tecnología DiskANN de Microsoft. A diferencia de los sistemas tradicionales que cargan grandes índices vectoriales en DRAM, AiSAQ permite realizar las búsquedas directamente desde el almacenamiento, escalando de forma más eficiente al no depender de la limitada memoria del host.

“Cuando la capacidad del SSD está fija, mejorar el rendimiento de búsqueda implica almacenar menos vectores, y almacenar más vectores reduce el rendimiento”, explican desde Kioxia. Esta nueva versión permite al administrador ajustar el sistema de forma precisa, estableciendo el equilibrio más adecuado entre rendimiento y volumen de datos vectoriales, clave para aplicaciones como RAG, búsqueda semántica offline o sistemas de recomendación.

Innovaciones clave del nuevo AiSAQ-DiskANN

Entre las principales novedades del software destacan:

• Búsqueda escalable sin DRAM: los vectores PQ (Product Quantization) se leen desde el disco a demanda.
• Vectores PQ en línea: se pueden almacenar como parte del nodo del índice para reducir las operaciones de E/S.
• Reorganización optimizada de vectores: minimiza los accesos al disco durante las búsquedas.
• Puntos de entrada múltiples: se generan múltiples accesos al índice para reducir iteraciones.
• Ancho de haz vectorial: permite paralelizar las operaciones de búsqueda ajustando el número de nodos por iteración.
• Caché estática y dinámica de vectores PQ: acelera el acceso gracias a políticas LRU por hilo.

Gracias a estas mejoras, AiSAQ se consolida como una solución robusta y escalable para búsquedas vectoriales intensivas, especialmente en entornos de inteligencia artificial generativa, donde la eficiencia en almacenamiento y latencia es crítica.

AiSAQ en el ecosistema open source

Kioxia ha publicado el software de forma abierta en GitHub (aisaq-diskann), facilitando su uso y contribución por parte de la comunidad. El código se basa en el algoritmo DiskANN de Microsoft, ampliamente utilizado en entornos que requieren búsquedas vectoriales rápidas y escalables.

Para su funcionamiento, AiSAQ requiere el uso de liburing para lecturas asincrónicas en sistemas Linux, así como la instalación de bibliotecas como Intel MKL para compilación optimizada. También se ofrecen versiones para Windows, compatibles con Visual Studio 2017 en adelante.

Un paso más hacia la IA escalable y sostenible

Con el crecimiento acelerado de modelos de lenguaje generativo y arquitecturas como RAG, el volumen de datos vectoriales se ha convertido en un cuello de botella para muchas organizaciones. La apuesta de Kioxia por arquitecturas centradas en SSD rompe con la dependencia de la DRAM y habilita sistemas más escalables, sostenibles y rentables para la próxima generación de aplicaciones de inteligencia artificial.

Esta evolución refuerza el compromiso de Kioxia con el avance de soluciones de almacenamiento inteligente y con el impulso de infraestructuras eficientes para la era de la IA, donde la integración entre hardware y software es clave para escalar sin sacrificar rendimiento.

vía: techpowerup y Kioxia en Github