Visão geral do projeto
O Redshift ETL Executor da Terpli orquestrava o fluxo crítico de dados que conectava eventos de storefront, GA4, APIs REST, postMessage, Lambda/serverless, Redshift e S3. A aplicação Node.js rodava como tarefa ECS Fargate, executando scripts SQL versionados em ordem determinística para construir camadas trusted, views de analytics, dashboards financeiros e tabelas de transações e-commerce enriquecidas com recomendações, reviews, fidelidade e nomes de produtos.
Desafio
Transformar dados de e-commerce heterogêneos e ruidosos em modelos confiáveis para analytics, mantendo backups em S3, evitando execuções concorrentes no ECS, fechando conexões Redshift órfãs e permitindo hotfixes específicos por varejista sem comprometer o pipeline principal.
Solução
Implementação de um executor batch containerizado com guarda de concorrência via ECS API, execução SQL via Redshift Data API, stages controlados por SCHEDULED_SERVICES, status por statement em dfm_execution_status, alertas no Slack, backups UNLOAD para S3, extração de nomes de produtos e um pipeline multi-pass de deduplicação de pedidos e eventos.
Tech Stack
- Node.js
- Amazon Redshift
- Amazon S3
- AWS ECS/Fargate
- ETL
Escopo técnico
- Orquestração Node.js de scripts SQL para Redshift
- Trusted layer mv_* e dashboards vw_fact_*
- Backups UNLOAD para Amazon S3 com controle incremental
- Hotfixes, extração de nomes de produtos e deduplicação v1-v7