Snowflake ha dado un paso significativo en la evolución de su plataforma AI Data Cloud con el anuncio de la vista previa pública de «Snowpark Connect para Apache Spark™». Esta nueva funcionalidad permite a los usuarios de Spark ejecutar su código directamente sobre el motor de Snowflake, prometiendo mejoras en rendimiento, reducción de costes y simplificación operativa para organizaciones que manejan grandes cantidades de datos.
La clave de esta innovación radica en su arquitectura cliente-servidor desacoplada, que separa el código del usuario del clúster Spark que realiza el procesamiento. Introducida por la comunidad de Apache Spark™ en su versión 3.4, esta estructura hace posible que los trabajos de Spark sean impulsados por el motor de Snowflake.
Con Snowpark Connect, los usuarios pueden ejecutar código Spark, incluyendo DataFrame, SQL y funciones definidas por el usuario (UDF), sin la necesidad de mantener entornos Spark independientes. Snowflake gestiona el escalado dinámico y optimización del rendimiento, reduciendo así la carga para los desarrolladores.
Además, la transferencia del procesamiento a Snowflake permite establecer un marco único de gobernanza desde el inicio del flujo de datos, asegurando coherencia, seguridad y cumplimiento normativo sin duplicar esfuerzos. Según un estudio interno, los clientes que utilizan Snowpark Client han logrado una mejora del 5,6 veces en rendimiento y una reducción del 41 % en costos, comparado con los entornos Spark tradicionales.
Snowpark Connect se desarrolla sobre la arquitectura de Spark Connect, que permite que las aplicaciones envíen un plan lógico no resuelto a un clúster remoto, eliminando la necesidad de mover datos entre Spark y Snowflake. Actualmente, es compatible con las versiones 3.5.x de Spark, lo que asegura compatibilidad con las últimas funcionalidades.
Los usuarios pueden ejecutar su código a través de Snowflake Notebooks, cuadernos Jupyter, VSCode, y otras plataformas, facilitando una integración fluida con diferentes almacenamientos. Además, trabaja con tablas Apache Iceberg™, sin la necesidad de mover datos o reescribir el código Spark, potenciando así el uso eficiente de un data lakehouse abierto.
Con este desarrollo, Snowflake sigue consolidando su compromiso de ofrecer herramientas eficientes y unificadas para desarrolladores y científicos de datos, integrando lo mejor de Spark en su ecosistema en la nube.
