El avance de China en el sector de la inteligencia artificial continúa a pesar de las restricciones impuestas por Estados Unidos en el acceso a chips avanzados y tecnología de fabricación. DeepSeek AI, una de las compañías más innovadoras del sector, ha dado un paso adelante con la presentación de Fire-Flyer File System (3FS), un sistema de archivos distribuido diseñado para optimizar cargas de trabajo de entrenamiento e inferencia en inteligencia artificial.
Este sistema de código abierto está diseñado para aprovechar al máximo las capacidades de los SSDs modernos y redes RDMA, logrando un rendimiento de lectura que supera los estándares actuales y optimiza el acceso a grandes volúmenes de datos en entornos de alto rendimiento.
3FS: un sistema de archivos para la nueva era de la inteligencia artificial
A medida que los modelos de inteligencia artificial se vuelven más complejos, la necesidad de sistemas de almacenamiento que permitan un acceso rápido y eficiente a los datos se ha vuelto fundamental. 3FS ha sido desarrollado con este propósito en mente, proporcionando una solución de almacenamiento distribuido que mejora el rendimiento y la escalabilidad en entornos de computación avanzada.
Entre sus características principales destacan:
- Arquitectura desagregada: Combina el rendimiento de miles de SSDs y cientos de nodos de almacenamiento, asegurando un acceso eficiente a los datos sin importar su ubicación física.
- Consistencia fuerte: Implementa Chain Replication con Apportioned Queries (CRAQ), facilitando el desarrollo de aplicaciones al garantizar la coherencia en los datos almacenados.
- Interfaz de archivos estándar: Permite el uso de sistemas de almacenamiento sin necesidad de aprender nuevas APIs, aprovechando bases de datos transaccionales como FoundationDB para la gestión de metadatos.
Gracias a estas características, 3FS se presenta como una opción eficiente para la gestión de datos en centros de cómputo dedicados al entrenamiento de modelos de inteligencia artificial.
Un rendimiento que redefine el almacenamiento en entornos HPC
DeepSeek ha probado 3FS en diversas condiciones de carga intensiva, obteniendo resultados notables:
- En un clúster de 180 nodos, cada uno equipado con 16 SSDs NVMe de 14 TiB y redes InfiniBand de 200 Gbps, alcanzó una velocidad de lectura agregada de 6,6 TiB/s (7,25 TB/s) bajo pruebas de estrés.
- En la prueba GraySort, un benchmark para medir el rendimiento en ordenamiento de grandes volúmenes de datos, 3FS logró procesar 110,5 TiB en 30 minutos y 14 segundos, obteniendo una tasa de 3,66 TiB/minuto en un clúster de 25 nodos.
- En tareas de inferencia con modelos de lenguaje, KVCache en 3FS alcanzó un rendimiento máximo de más de 40 GiB/s por nodo, permitiendo optimizar el almacenamiento en caché sin depender excesivamente de la memoria DRAM.
Estos resultados reflejan la capacidad de 3FS para superar los cuellos de botella tradicionales en almacenamiento y mejorar la eficiencia en tareas de inteligencia artificial y computación de alto rendimiento (HPC).
Impacto en la industria y ventajas sobre las soluciones tradicionales
El almacenamiento eficiente de datos es un desafío clave en el desarrollo de modelos de inteligencia artificial. DeepSeek ha estado utilizando 3FS internamente desde 2019, integrándolo en su infraestructura para potenciar el entrenamiento de modelos con un menor consumo de recursos.
De acuerdo con la compañía, su sistema de almacenamiento ha permitido lograr el 80% del rendimiento de un servidor NVIDIA DGX-A100, pero con solo el 50% del costo y un 60% del consumo energético. Esto supone una ventaja competitiva importante para empresas que buscan optimizar costos sin sacrificar rendimiento.
Otro aspecto crucial es su accesibilidad, ya que 3FS ha sido liberado como software de código abierto, permitiendo a investigadores y empresas aprovechar esta tecnología para sus propias aplicaciones de inteligencia artificial.
El código fuente y la documentación oficial del sistema de archivos pueden encontrarse en GitHub:
Repositorio oficial de 3FS en GitHub
Conclusión: 3FS marca un nuevo estándar en almacenamiento para IA
El desarrollo de Fire-Flyer File System (3FS) posiciona a DeepSeek como una de las compañías más innovadoras en el campo de la inteligencia artificial. Al ofrecer una solución de almacenamiento escalable, eficiente y de alto rendimiento, la empresa demuestra que China no solo ha alcanzado a sus competidores en IA, sino que está liderando avances en la infraestructura tecnológica necesaria para el futuro del sector.
Con la creciente demanda de soluciones optimizadas para el entrenamiento de modelos, 3FS podría convertirse en una herramienta clave para centros de datos, instituciones de investigación y empresas que buscan mejorar sus capacidades en inteligencia artificial sin depender de tecnologías propietarias.
