Engenheiro de Dados Pleno

Tipo de contratação: CLT

Modalidade: Home Office

Local de Trabalho: Home Office

Formação: Ensino Superior completo em áreas relacionadas à Tecnologia da Informação, Ciência da Computação, Engenharia ou áreas correlatas.

Principais atividades:

Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento e armazenamento em plataformas escaláveis.

Colaborar com equipes multidisciplinares para entender os requisitos de dados e implementar soluções que atendam às necessidades de negócios em evolução.

Garantir a qualidade, a integridade e a governança dos dados ao longo de todo o ciclo de vida, implementando boas práticas de segurança e compliance.Implementar e gerenciar soluções de banco de dados, como data lakes, data warehouses e bancos de dados relacionais e não relacionais.

Utilizar Databricks para otimizar e escalar o processamento de dados, aplicando técnicas avançadas de big data com integração a plataformas como Apache Spark.

Monitorar e melhorar o desempenho das soluções de dados, identificando e corrigindo gargalos e problemas de desempenho em tempo real.

Automatizar processos e tarefas relacionadas à manipulação de dados para otimizar o fluxo de trabalho e melhorar a eficiência.

Colaborar na definição e implementação de arquiteturas de dados modernas, aproveitando tecnologias em nuvem e on-premises.

Requisitos e qualificações:Experiência comprovada em engenharia de dados, incluindo design, desenvolvimento e manutenção de pipelines de dados escaláveis.Proficiência em linguagens de programação como Python, SQL e Shell Script.Experiência com ferramentas de ETL (Extração, Transformação e Carregamento), como Apache Airflow, Talend, DataStage, ou semelhantes.Familiaridade com Databricks para processamento de dados em larga escala e integração com pipelines de dados, incluindo conhecimento em Apache Spark.Conhecimento de bancos de dados relacionais (SQL Server) e NoSQL (MongoDB, Cassandra).Familiaridade com ferramentas de versionamento de código (Git) e metodologias ágeis (Scrum/Kanban).Experiência com ferramentas de Big Data, como Hadoop, Spark, Kafka.