Engenheiro de Dados AWS/Snowflake Pleno | Remoto

O Engenheiro de Dados Pleno na Dataside tem autonomia para entregar soluções de alta complexidade em projetos de engenharia de dados. Atua como responsável técnico por contratos, sempre acompanhado de um Líder Técnico, Engenheiro Sênior ou Arquiteto de Dados. Sua função envolve orientar clientes nas decisões sobre pipelines, serviços, otimização de custos e performance, além de identificar oportunidades de melhoria em arquiteturas existentes e comunicá-las aos responsáveis técnicos de maior senioridade.

• Projetar, construir e manter pipelines de dados utilizando Python, PySpark, SQL e serviços de nuvem.
• Gerenciar processos de ingestão, modelagem e transformação de dados com eficiência, reutilização e aplicação de boas práticas de engenharia.
• Atuar em projetos com tecnologias como Kafka, Spark, Airflow, DBT e plataformas de data warehouse, como Snowflake, BigQuery ou Redshift.
• Desenvolver e manter pipelines de dados com práticas de CI/CD, versionamento e deploy automatizado.
• Atuar em projetos com serviços AWS, incluindo Glue, EMR, Redshift, Athena, Lambda e Step Functions.
• Otimizar o ciclo de vida dos dados, incluindo armazenamento no S3, performance de consultas e custos de infraestrutura.
• Contribuir para a organização, qualidade e governança dos dados, garantindo soluções escaláveis e sustentáveis.
• Trabalhar com ambientes críticos e grandes volumes de dados, identificando oportunidades de melhoria técnica e de processos.

• Formação superior completa em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.
• Experiência prática em projetos de engenharia de dados de média e alta complexidade, incluindo construção e manutenção de pipelines de dados.
• Experiência avançada em Python e SQL, com capacidade de desenvolver soluções eficientes, legíveis e sustentáveis.
• Experiência com Spark/PySpark e tecnologias de processamento e streaming de dados, como Kafka.
• Experiência com Airflow ou ferramentas similares para orquestração de pipelines de dados.
• Experiência com DBT para modelagem, transformação e organização de dados.
• Experiência com plataformas de data warehouse, como Snowflake, BigQuery ou Amazon Redshift.
• Experiência com pipelines de dados utilizando práticas de CI/CD, versionamento com Git e deploy automatizado.
• Experiência em ambientes de computação em nuvem, preferencialmente AWS, incluindo visão de arquitetura, segurança, performance e custos.
• Conhecimento da stack analítica AWS, incluindo S3, Glue, EMR, Athena, Redshift, Lambda e Step Functions.
• Visão clara de arquitetura e fluxo de dados, com capacidade de identificar gargalos, antecipar riscos e propor melhorias técnicas e de processo.
• Boa comunicação com stakeholders técnicos e não técnicos, capacidade de trabalho em equipe e facilidade para explicar decisões técnicas.

• Conhecimento ou experiência com Terraform, DBT, DuckDB e Docker.
• Databricks Certified Data Engineer Associate.