En un movimiento que promete revolucionar el ámbito de la colaboración en la nube, Cisco ha logrado una mejora del 50% en la latencia de sus soluciones, gracias a la incorporación de Amazon SageMaker Inference. Este avance se integra en el contexto de la plataforma Webex, que ya se ha establecido como un referente en el ámbito de soluciones de colaboración, ofreciendo una extensa gama de servicios que incluyen videoconferencias, llamadas, mensajería, eventos, encuestas y soluciones para experiencia del cliente.
El equipo de Webex AI (WxAI) de Cisco ha sido fundamental en la integración de estas mejoras, enfocándose en el desarrollo de capacidades basadas en modelos de lenguaje de gran tamaño (LLMs) que buscan optimizar la experiencia y productividad de los usuarios. En particular, el Webex Contact Center ha visto un notable aumento en su capacidad de ofrecer soporte altamente personalizado gracias a estas innovaciones, que incluyen asistentes virtuales inteligentes, procesamiento de lenguaje natural y análisis de sentimientos.
Con el crecimiento exponencial de los modelos LLM, que ahora contienen cientos de gigabytes de datos, surgieron desafíos significativos en la asignación eficiente de recursos y el inicio rápido de aplicaciones con estos modelos integrados. Para mejorar la eficiencia y el rendimiento de su infraestructura de inteligencia artificial y aprendizaje automático (IA/ML), Cisco migró sus modelos a Amazon SageMaker Inference, un servicio de inferencia de IA totalmente gestionado.
Esta migración no solo ha permitido un mejor manejo de la escalabilidad, sino que también ha reducido considerablemente la latencia de la inferencia en hasta un 50%. Al desacoplar el alojamiento de los modelos LLM de las aplicaciones Webex, Cisco ha podido provisionar los recursos computacionales necesarios sin afectar las capacidades básicas de colaboración y comunicación.
Además, Webex ha incorporado la IA generativa en sus soluciones de centros de contacto, facilitando interacciones más naturales y humanas entre los clientes y los agentes. La IA generativa puede producir respuestas contextuales y empáticas, y redactar correos electrónicos y mensajes de chat personalizados automáticamente, ayudando a los agentes a mantener altos estándares de servicio al cliente con una mayor eficiencia.
Anteriormente, los modelos de LLM se integraban directamente en las aplicaciones que se ejecutaban en Amazon Elastic Kubernetes Service (Amazon EKS). Sin embargo, con el aumento de la complejidad de los modelos, este enfoque mostró serios problemas de escalabilidad y utilización de recursos, limitando la rapidez del desarrollo, pruebas y despliegue de nuevas funciones impulsadas por IA.
SageMaker Inference ha permitido a Cisco superar estos obstáculos, ofreciendo una gestión de escalado automático a alta velocidad crucial para manejar la inferencia de IA generativa en tiempo real. Este avance no solo optimiza el rendimiento de las aplicaciones de IA de Cisco sino que también allana el camino para futuras innovaciones en soluciones de colaboración y experiencia del cliente.
La alianza entre Cisco y Amazon SageMaker se mantiene como un pilar fundamental en esta evolución tecnológica, asegurando que los usuarios de Webex continúen disfrutando de experiencias de colaboración cada vez más avanzadas y eficientes.
