Una nueva propuesta en el ámbito de la inteligencia artificial busca revolucionar la relación entre cómputo y memoria. La startup d-Matrix afirma haber desarrollado una tecnología que podría superar a la memoria HBM en tareas de inferencia, prometiendo una ejecución hasta 10 veces más rápida y eficiente.
La memoria HBM es considerada esencial en la computación de alto rendimiento, consolidándose como la opción preferida para el entrenamiento de modelos de IA. Sin embargo, en la fase de inferencia, donde los modelos procesan datos en tiempo real, las demandas cambian. Sid Sheth, fundador y CEO de d-Matrix, destaca que la inferencia enfrenta un «estrangulamiento» por la memoria más que por la potencia de cómputo, debido al creciente tamaño de los modelos y los altos costos energéticos.
La solución que plantea d-Matrix, conocida como 3D Digital In-Memory Compute (3DIMC), busca acercar el procesamiento directamente a la memoria. Su chip experimental, Pavehawk, combina memorias LPDDR5 y chiplets DIMC apilados en 3D. Este diseño permite realizar operaciones dentro de la memoria, lo que podría reducir la latencia y aumentar la eficiencia energética drásticamente.
Actualmente, el mercado de memorias HBM está dominado por tres fabricantes: SK hynix, Samsung y Micron. El alto costo y la escasez de estas memorias auguran un aumento de precios, lo que genera tensiones en los centros de datos. En este contexto, 3DIMC podría resultar una alternativa económica y estratégica. Sin embargo, algunos analistas advierten sobre el riesgo de que esta tecnología sea demasiado especializada en un sector ya saturado de inversiones.
La apuesta de d-Matrix se alinea con una tendencia hacia el diseño de hardware específico para diferentes fases del ciclo de vida de la IA. La verdadera evaluación se hará cuando los gigantes tecnológicos valoren la incorporación de esta tecnología en sus infraestructuras. Mientras tanto, d-Matrix continúa afinando su tecnología, con la esperanza de demostrar que su innovación es una opción viable más allá de los laboratorios.
