Engenheiro(a) de Dados Sênior | Databricks em AWS

Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em uma instituição financeira, liderando tecnicamente a implantação da plataforma Databricks em ambiente AWS. O foco principal é implantar a plataforma Databricks do zero em AWS: conduzir a instalação, a configuração, a integração com o ecossistema de dados do cliente e a estruturação da governança. Buscamos alguém que já tenha liderado ou executado uma implantação de Databricks em AWS, e não apenas trabalhado em um ambiente já pronto.

• Conduzir a implantação do Databricks em AWS, da preparação do ambiente à entrada em operação.
• Configurar workspaces, clusters, jobs e políticas de uso da plataforma.
• Integrar o Databricks ao ambiente de dados do cliente e aos serviços AWS envolvidos (armazenamento, catálogo, segurança e acesso).
• Estruturar a governança da plataforma: controle de acesso, permissões, organização de catálogos e boas práticas de uso.
• Desenvolver, evoluir e sustentar pipelines de dados de ingestão e transformação.
• Monitorar, investigar e corrigir falhas nos fluxos de dados em produção.
• Documentar a arquitetura, as configurações e os padrões adotados.
• Interagir com times técnicos e de negócio, inclusive em inglês.

• Experiência prática comprovada em implantação e configuração do Databricks em AWS.
• Experiência sênior em engenharia de dados.
• Inglês para comunicação profissional.

• Python, PySpark e SQL.
• AWS Glue e Apache Airflow.
• Delta Lake.
• Desenvolvimento e sustentação de pipelines de dados.
• Unity Catalog e governança de dados no Databricks.
• Infraestrutura como código (Terraform) e CI/CD aplicados a dados.
• Conhecimento de S3, IAM e redes em AWS.
• Certificações Databricks ou AWS.