Vaga do site oficial de vagas da empresa, aberta pela empresa desde · publicada no vaguinhas
Engenheiro(a) de Dados Sênior
- Remoto
- PJ
- Sênior
- Local
- Remoto, todo o Brasil
- Salário
- Não divulgado
- Contratação
- PJ
- Candidaturas até
- Sem prazo
Sobre a oportunidade
Estamos em busca de um(a) Engenheiro(a) de Dados para atuar na sustentação e evolução em nossa plataforma de dados, garantindo disponibilidade, confiabilidade e performance dos pipelines e produtos de dados utilizados pelas diferentes áreas da companhia. O profissional atuará na investigação e resolução de incidentes, desenvolvimento de melhorias e evolução de pipelines utilizando Azure, Databricks, Python, PySpark e SQL, trabalhando com arquitetura Lakehouse e organização dos dados em camadas.
Resumo organizado pelo vaguinhas. Ver o descritivo completo no site de origem.
Responsabilidades
- Sustentar, monitorar e evoluir pipelines de ingestão e processamento de dados.
- Investigar e corrigir falhas em pipelines, jobs, notebooks e processos de dados.
- Desenvolver soluções utilizando Python, PySpark e SQL.
- Desenvolver e manter pipelines em Azure e Databricks.
- Atuar na ingestão, transformação e disponibilização de dados nas diferentes camadas da arquitetura.
- Garantir qualidade, integridade, rastreabilidade e disponibilidade dos dados.
- Realizar análise de causa raiz de incidentes e implementar soluções definitivas.
- Monitorar e otimizar performance de pipelines e processamento de dados.
Requisitos
- Experiência com Microsoft Azure.
- Experiência sólida com Databricks.
- Conhecimento em Python, PySpark e SQL.
- Experiência na construção e sustentação de pipelines de dados.
- Conhecimento em Azure Data Factory.
- Experiência com processamento distribuído utilizando Spark.
- Conhecimento em arquitetura Lakehouse e Medalhão (Bronze, Silver e Gold).
- Experiência com modelagem e transformação de dados.
- Conhecimento em Git e Azure DevOps.
- Experiência com APIs e integração entre diferentes fontes de dados.
- Conhecimento em boas práticas de engenharia, qualidade e governança de dados.
Diferenciais
- Experiência com Delta Lake.
- Conhecimento em Unity Catalog.
- Experiência com CI/CD e DataOps.
- Conhecimento em observabilidade e monitoramento de pipelines.
- Experiência com Hadoop/Hive.
- Conhecimento em Power BI.
- Experiência com MLOps.
- Vivência em ambientes de AMS ou sustentação de plataformas de dados.
Tecnologias e ferramentas
Você será direcionado para carreiras-semantix.inhire.app, plataforma InHire. A candidatura é concluída lá.
Seus dados serão tratados por Semantix e pela plataforma InHire, conforme as regras de privacidade dela.
Processo de candidatura
Canal: Via InHire.
O número de etapas e os prazos de retorno são definidos por Semantix. Nunca pague para participar de um processo seletivo.
Fonte
