Engenheiro de Dados Pleno

Estamos buscando um Engenheiro de Dados para atuar com grandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes. Entre as principais atividades, destacam-se: Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput). Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL. Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake. Conhecimento de git controle de versionamento, pull requests. Análise, melhoria e otimização de custos e performance em Databricks. Implementar Data Quality. Criar documentação clara das demandas. Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança. Experiência com Databricks para processamento, transformação e análise de grandes volumes de dados. Conhecimento sólido em processos de ETL (Extração, Transformação e Carga de Dados), garantindo a integração e qualidade das informações. Experiência em Engenharia de Dados, atuando na construção, manutenção e otimização de pipelines de dados escaláveis. Vivência com arquitetura de dados, modelagem de dados e integração entre diferentes fontes. Capacidade de desenvolver soluções para ambientes de dados em nuvem e ecossistemas de Big Data. Conhecimento em boas práticas de governança, qualidade e performance de dados. A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem-estar. A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work™ em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com uma avaliação de 4,6 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo, proporcionando um ambiente de trabalho cada vez melhor para nossos talentos. Experian Careers - Creating a better tomorrow together Find out what its like to work for Experian by clicking here