Resumen del proyecto
Terpli necesitaba evolucionar su pipeline analítico heredado en Redshift hacia una arquitectura en BigQuery sin perder continuidad con los datos históricos. Desarrollamos un executor Node.js para GCP que descubre, ordena y ejecuta scripts SQL versionados por etapa, registra el estado de cada statement en BigQuery, envía notificaciones a Slack y publica logs estructurados en Cloud Logging. El pipeline corre como Cloud Run Job activado diariamente por Cloud Scheduler, con imagen en Artifact Registry, secretos en Secret Manager e infraestructura gestionada con Terraform.
Desafío
Mantener la capa antigua de Terpli replicada desde Redshift conviviendo con la nueva capa en BigQuery, garantizando backups, trazabilidad por statement, reinicio parcial y una capa final consumible por dashboards, APIs y data science.
Solución
Implementación de un orquestador GCP con etapas BACKUP, NEW_TERPLI y MERGED: snapshots EXPORT DATA hacia Cloud Storage, transformación SQL de la nueva Terpli en BigQuery y vistas merged_* que unen old Terpli y new Terpli con origen explícito para consumo analítico.
Tech Stack
- Node.js
- BigQuery
- Cloud Run Jobs
- Terraform
- GitHub Actions
Alcance técnico
- Orquestación Node.js de scripts SQL ordenados por etapa
- Cloud Run Jobs con Cloud Scheduler y ejecución diaria
- Backups EXPORT DATA hacia Cloud Storage
- Logs estructurados, estado por statement y alertas en Slack