Desafío
El equipo enfrentó un doble desafío en el proyecto de Snowflake. Primero, tenía que ejecutar el proceso de ETL con más frecuencia para obtener resultados más rápido. Se estimaba que esa mayor frecuencia iba a subir los costos, pero con los meses la realidad superó la estimación y los costos crecieron más de lo previsto. Así apareció un desafío todavía mayor: reducir los costos del proceso de ETL en Snowflake.
El proceso de ETL involucra distintos componentes: bases de datos, ejecución de Lambda, scripts en EC2, Step Functions, carga y transformación de datos, y visualización en Looker. El equipo Power Quangers tuvo que analizar cada uno de estos componentes, identificar qué se podía mejorar y encontrar soluciones efectivas para reducir costos. Al mismo tiempo, era clave que esas mejoras no afectaran la calidad, la eficiencia ni la capacidad del proceso de ETL de darle al cliente información útil y precisa.
Proceso
Para resolverlo, el equipo siguió un proceso estructurado en un plazo ajustado de dos meses. Analizó los componentes involucrados para detectar dónde estaban los costos altos. Propuso soluciones efectivas, entre ellas la optimización de consultas, el particionado de tablas, la depuración de datos históricos y la optimización de procesos.
PQ priorizó y planificó la implementación gradual de las mejoras, con foco en lograr resultados concretos dentro del plazo. Aplicó los cambios en partes pequeñas del sistema y en cada una probó y evaluó el impacto en costos y rendimiento. Eso incluyó optimizaciones puntuales de consultas, la lectura selectiva de datos en S3 y la optimización de la ejecución de los procesos.
.jpg)
Para asegurar la efectividad, el equipo armó un proceso de monitoreo continuo con herramientas como CloudWatch. Eso le permitió seguir las métricas relevantes, recibir alertas de rendimiento y de costos, y hacer ajustes adicionales cuando hacía falta.
La comunicación con el equipo del cliente fue constante durante todo el proceso. Las reuniones periódicas sirvieron para informar avances, compartir resultados y aprendizajes, y mantener la alineación con los objetivos del proyecto, aprovechando lo que aportaba el equipo del cliente.
Solución
Para reducir costos y ganar eficiencia, el equipo se concentró en optimizar la ingesta de datos en Snowflake. Afinó las consultas que se ejecutaban desde instancias EC2, automatizó la depuración de datos y eliminó los datos históricos innecesarios según lo acordado con el cliente. Al hacer que el proceso de ETL se ejecutara solo cuando era necesario, redujo al mínimo el uso de recursos sin perder precisión en los datos.


Resultados
Con las mejoras implementadas, logramos un ahorro de decenas de miles de dólares por año. Superando las expectativas, el equipo redujo los costos un 50 % y optimizó el proceso de ETL entre un 40 y un 50 %. Con el objetivo de que el proceso durara menos de 10 minutos, bajamos el tiempo de los 14 minutos iniciales a 7 u 8 minutos.