Visão geral do projeto
A Terpli precisava evoluir seu pipeline analítico legado em Redshift para uma arquitetura em BigQuery sem perder a continuidade dos dados históricos. Desenvolvemos um executor Node.js para GCP que descobre, ordena e executa scripts SQL versionados em estágios, registra o status de cada statement no BigQuery, envia notificações para Slack e publica logs estruturados no Cloud Logging. O pipeline roda como Cloud Run Job acionado diariamente pelo Cloud Scheduler, com imagem no Artifact Registry, segredos no Secret Manager e infraestrutura gerenciada por Terraform.
Desafio
Manter a camada antiga da Terpli replicada do Redshift convivendo com a nova camada em BigQuery, garantindo backups, rastreabilidade por statement, retomada parcial e uma camada final consumível por dashboards, APIs e data science.
Solução
Implementação de um orquestrador GCP com estágios BACKUP, NEW_TERPLI e MERGED: snapshots EXPORT DATA para Cloud Storage, transformação SQL da nova Terpli em BigQuery e views merged_* que unem old Terpli e new Terpli com origem explícita para consumo analítico.
Tech Stack
- Node.js
- BigQuery
- Cloud Run Jobs
- Terraform
- GitHub Actions
Escopo técnico
- Orquestração Node.js de scripts SQL ordenados por estágio
- Cloud Run Jobs com Cloud Scheduler e execução diária
- Backups EXPORT DATA para Cloud Storage
- Logs estruturados, status por statement e alertas no Slack