En un avance sin precedentes para el almacenamiento distribuido, un grupo de ingenieros ha diseñado un clúster Ceph que alcanza 1 TiB/s en lectura secuencial, superando todos los récords previos en este campo. Este logro resulta de una infraestructura innovadora que combina tecnología de vanguardia y una compleja arquitectura de red.
El proyecto, iniciado en 2023 por una compañía líder, consistió en migrar un clúster Ceph basado en discos duros a una infraestructura completamente NVMe con una capacidad de 10 PB. En colaboración con la empresa tecnológica Clyso, se desplegaron 68 nodos Dell PowerEdge R6615, cada uno equipado con procesadores AMD EPYC 9454P, 192 GiB de RAM DDR5, interfaces Mellanox ConnectX-6 de 100 GbE y 10 unidades NVMe Enterprise de 15,36 TB.
El clúster, distribuido en 17 racks con Ceph Quincy v17.2.7 y Ubuntu 20.04.6, alcanzó un total de 630 OSDs. La red de alto rendimiento fue crucial para maximizar el potencial de la arquitectura.
Los ingenieros del proyecto enfrentaron y superaron varios desafíos técnicos durante el desarrollo. Descubrieron que la gestión de c-states en las CPU introducía latencia, por lo que desactivar estos estados en la BIOS mejoró el rendimiento en un 10–20 %. Además, superar la contención de bloqueos en IOMMU implicó desactivar esta opción en el kernel, liberando la capacidad de lectura y escritura. La recompilación de RocksDB con las banderas de optimización adecuadas también duplicó el rendimiento en escritura aleatoria 4K.
Con los ajustes necesarios, el clúster logró 1,025 TiB/s en lectura secuencial de 4 MB con replicación triple, y 270 GiB/s en escritura secuencial. Asimismo, alcanzó 25,5 millones de IOPS en lectura aleatoria 4K. Utilizando codificación de borrado 6+2, se lograron más de 500 GiB/s en lectura y 387 GiB/s en escritura.
El análisis y la configuración óptima de PGs, threads y shards por OSD fueron cruciales para evitar estados de inactividad temporales que paralizaban el sistema. Según el equipo técnico, para avanzar más, será necesario adoptar redes de 200 GbE o mayores.
Este despliegue no solo demuestra la capacidad de Ceph para competir con soluciones de almacenamiento extremas propietarias, sino que también resalta su viabilidad como plataforma de código abierto en grandes implementaciones. Futuras mejoras esperan abordar la eficiencia en las escrituras masivas y superar el límite de IOPS por nodo.
Desde Stackscale, David Carrero destaca que, aunque la mayoría de las empresas no necesitan cifras tan extremas, la flexibilidad y el control que Ceph ofrece son valiosos para las organizaciones que buscan independencia tecnológica y optimización de costes en sus entornos de almacenamiento. Ceph se mantiene como una herramienta versátil para quienes desean desarrollar soluciones personalizadas, adaptadas a las necesidades específicas de sus negocios.
