Las implementaciones modernas de modelos de lenguaje grande (LLM) están enfrentando crecientes desafíos en términos de costos y rendimiento. La creciente demanda de contextos más largos y complejos ha llevado a un aumento significativo en el conteo de tokens, factor que determina los requisitos computacionales y también los costos asociados. Este fenómeno se agrava con modelos avanzados que ahora pueden manejar hasta 10 millones de tokens, satisfaciendo así las exigencias de sistemas de generación aumentada de recuperación (RAG) y agentes de codificación que requieren bases de código extensas.
No obstante, se ha identificado que una proporción considerable de estos tokens es repetitiva, con los mismos documentos y fragmentos de texto apareciendo repetidamente en los prompts. Este hallazgo representa una oportunidad valiosa. Al implementar el almacenamiento en caché para contenido reutilizado frecuentemente, las organizaciones pueden reducir costos significativamente y mejorar el rendimiento de sus cargas de trabajo de inferencia.
Frente a este panorama, Amazon Web Services (AWS) ha lanzado mejoras clave para su contenedor de Inferencia de Modelos Grandes (LMI). Estas actualizaciones no solo mejoran el rendimiento, sino que también simplifican las capacidades de implementación para los clientes que utilizan LLM en AWS. La complejidad operativa se ve reducida, al tiempo que se logran incrementos de rendimiento en las arquitecturas de modelos más demandadas.
Entre las novedades más destacadas se encuentra el soporte para LMCache, una solución de almacenamiento en caché de clave-valor (KV) que revoluciona el manejo de las inferencias de largo contexto. LMCache, de código abierto, almacena y comparte cachés KV generados, optimizando el rendimiento al reutilizar fragmentos de texto previamente procesados.
A diferencia de los sistemas tradicionales, que se basan en el almacenamiento en caché de prefijos, LMCache opera a nivel de fragmento, identificando textos repetidos y almacenando sus cachés KV precomputados. Este sistema permite un almacenamiento multinivel que abarca desde la memoria GPU hasta el almacenamiento en disco, gestionando un índice interno que mapea secuencias de tokens a entradas de caché KV.
Las pruebas extensivas han mostrado que LMCache mejora significativamente el tiempo hasta el primer token (TTFT) en contextos repetidos de varios millones de tokens. Las organizaciones pueden optar por una evacuación a la CPU o utilizar NVMe para optimizar el rendimiento en función de sus capacidades de caché.
El rendimiento y los beneficios de LMCache varían según el tamaño del modelo, ya que los modelos más grandes requieren más memoria por token, agotando más rápidamente la capacidad de caché KV de la GPU. Así, LMCache es especialmente valioso en contextos más cortos para estos modelos grandes.
Además, LMI ahora incorpora soporte para técnicas como la decodificación especulativa EAGLE, que acelera la decodificación prediciendo tokens futuros desde las capas ocultas del modelo. Esto, junto a un soporte ampliado para modelos de última generación y capacidades multimodales, permite a las organizaciones escalar sus modelos con mayor eficiencia y menos complicaciones operativas.
