El avance de China en el sector de la inteligencia artificial continúa de manera notable, incluso frente a las restricciones impuestas por Estados Unidos en el acceso a chips avanzados y tecnología de fabricación. Un ejemplo destacado de este progreso es la reciente presentación de DeepSeek AI, una de las compañías más innovadoras del sector, que ha dado un paso significativo con su nuevo sistema de archivos distribuido, el Fire-Flyer File System (3FS). Este sistema ha sido diseñado para optimizar las cargas de trabajo de entrenamiento e inferencia en inteligencia artificial, representando un hito en el desarrollo de soluciones de almacenamiento de alto rendimiento.
Fire-Flyer File System (3FS) es un sistema de código abierto que maximiza las capacidades de los SSDs modernos y redes RDMA. Este enfoque permite alcanzar un rendimiento de lectura que no solo supera los estándares actuales, sino que también optimiza el acceso a grandes volúmenes de datos en entornos de alto rendimiento. En un contexto donde los modelos de inteligencia artificial se vuelven cada vez más complejos, la eficiencia en el manejo de datos es crucial. 3FS ha sido desarrollado para abordar esta necesidad, proporcionando una solución que mejora tanto el rendimiento como la escalabilidad en ambientes de computación avanzada.
La arquitectura de 3FS se destaca por combinar el rendimiento de miles de SSDs y cientos de nodos de almacenamiento, asegurando un acceso eficiente a los datos independientemente de su ubicación física. Además, implementa el sistema Chain Replication con Apportioned Queries (CRAQ) para garantizar la coherencia en los datos almacenados, simplificando el desarrollo de aplicaciones. Su interfaz de archivos estándar permite a las organizaciones sacar provecho de este sistema sin necesidad de aprender nuevas APIs, utilizando bases de datos transaccionales como FoundationDB para gestionar los metadatos.
El desempeño del 3FS en pruebas intensivas ha sido notable. En un clúster de 180 nodos, cada uno equipado con 16 SSDs NVMe de 14 TiB y redes InfiniBand de 200 Gbps, 3FS alcanzó una velocidad de lectura agregada de 6,6 TiB/s (7,25 TB/s). Además, en la prueba GraySort, logró procesar 110,5 TiB en poco más de 30 minutos en un clúster de 25 nodos. En aplicaciones de inferencia, el rendimiento máximo por nodo superó los 40 GiB/s, optimizando así el almacenamiento en caché sin una dependencia excesiva de la memoria DRAM.
DeepSeek ha estado utilizando 3FS internamente desde 2019, integrándolo en su infraestructura para potenciar el entrenamiento de modelos con eficacia. Este sistema ha permitido a la empresa alcanzar un 80% del rendimiento de un servidor NVIDIA DGX-A100 pero reduciendo considerablemente el costo y el consumo energético, lo que representa una ventaja competitiva significativa.
Asimismo, la decisión de DeepSeek de liberar 3FS como software de código abierto permite a investigadores y empresas aprovechar esta tecnología para sus propias aplicaciones de inteligencia artificial. El repositorio oficial y toda la documentación necesaria están disponibles en GitHub, promoviendo su implementación y desarrollo continuado.
En conclusión, la creación del Fire-Flyer File System (3FS) no solo posiciona a DeepSeek como un líder en innovación dentro del ámbito de la inteligencia artificial, sino que también subraya la capacidad de China para liderar avances en infraestructura tecnológica crítica para el futuro del sector. A medida que la demanda de soluciones optimizadas para el entrenamiento de modelos aumenta, 3FS podría convertirse en una herramienta esencial para centros de datos, instituciones de investigación y empresas que desean expandir sus capacidades en IA sin depender de tecnologías propietarias.
