Engenheiro de Dados Databricks (Home Office/Brasil)

Aqui na Programmers, aceleramos grandes ideias com inovação e tecnologia. Com uma trajetória de mais de 30 anos, o que nos move são os desafios em construir ideias em soluções reais, para que nossos clientes sejam referências no segmento que atuam. Especialistas em desenvolvimento de software e inteligência de dados, temos uma relação de transparência, confiança, credibilidade e reconhecimento neste mercado. Nosso maior sonho? Impactar empresas e pessoas. O QUE ESPERAMOS DE VOCÊ?

• Projetar, desenvolver e implantar pipelines de dados ETL/ELT escaláveis no Databricks usando PySpark, SQL e Delta Lake.
• Otimizar o desempenho dos pipelines de dados e gerenciar fluxos de trabalho utilizando Jobs, Workflows e notebooks do Databricks.
• Ingerir, limpar, transformar e processar dados estruturados e não estruturados provenientes de diversas fontes.
• Colaborar com arquitetos de dados, analistas e usuários de negócios para traduzir requisitos em modelos.
• Gerenciar e monitorar a execução dos pipelines com ferramentas como Airflow.
• PARA ESSA OPORTUNIDADE VOCÊ PRECISA TER:
• Experiência prática em engenharia de dados, trabalhando com Databricks.
• Proficiência em PySpark, SQL e processamento distribuído de dados.