Engenheiro(a) de Dados Sênior | Azure Databricks

Job description

Como Engenheiro(a) de Dados Sênior, você será a principal referência técnica da squad, liderando iniciativas de modernização e migração de plataformas de dados para Azure Databricks. Sua atuação será fundamental para definir padrões de engenharia, garantir a qualidade das entregas e conduzir decisões arquiteturais que apoiem a transformação digital dos nossos clientes. Você atuará em projetos de grande porte, com foco em arquiteturas modernas de dados, processamento distribuído, streaming e ambientes Lakehouse, colaborando com equipes multidisciplinares em um ambiente inovador e orientado a resultados. Faça parte de uma equipe que está impulsionando a transformação digital por meio de dados, analytics e inteligência artificial. Aqui, você terá acesso a projetos estratégicos, tecnologias de ponta e oportunidades contínuas de aprendizado e crescimento. Together we do what matters. Saiba mais sobre alguns dos nossos benefícios: Vale refeição ou alimentação Cartão Multibenefícios (até Consultor(a) Sênior) Convênio médico e odontológico Certificações e treinamentos Seguro de vida Previdência privada Avababy: acompanhamento da gestação e kit para novos pais e mães Participação nos resultados da empresa Wellhub Auxílio creche Mentoria de carreira Política de Birthday Off (um dia de folga no mês do seu aniversário) Sessões de bem-estar Para cargos gerenciais: veículo corporativo, estacionamento e auxílio combustível Responsabilidades Liderar tecnicamente a migração de workloads de dados de Cloudera para Azure Databricks; Definir estratégias de modernização para pipelines, scripts Python e arquiteturas analíticas; Projetar e evoluir pipelines ETL/ELT escaláveis e resilientes; Liderar iniciativas de streaming de dados em tempo real; Definir padrões de engenharia de dados, observabilidade e governança; Realizar revisões de código e disseminar boas práticas de desenvolvimento; Apoiar a modelagem de dados em arquiteturas Lakehouse utilizando Delta Lake; Integrar dados provenientes de APIs, aplicações SaaS, mensageria e sistemas legados; Colaborar com times de Data Science e MLOps na disponibilização de dados para modelos de IA e Machine Learning; Apoiar definições arquiteturais junto a arquitetos e stakeholders; Garantir performance, qualidade e governança dos ambientes de dados; Atuar como mentor(a) técnico(a), apoiando o desenvolvimento da equipe. . Habilidades e experiências Requisitos obrigatórios Experiência sólida com Azure Databricks; Forte experiência com Apache Spark para processamento distribuído; Domínio de Python e SQL; Experiência em migração de dados, preferencialmente ambientes Hadoop/Cloudera; Experiência com ingestão de dados estruturados e não estruturados; Conhecimento de modelagem de dados para ambientes analíticos; Experiência com integração de dados via APIs, mensageria e sistemas OLTP; Familiaridade com engenharia de Machine Learning e pipelines de dados; Experiência com Git e práticas de CI/CD; Vivência em ambientes Cloud, preferencialmente Microsoft Azure; Diferenciais Experiência com migração de workloads de Cloudera/Hadoop; Conhecimento em Databricks Structured Streaming e Delta Live Tables; Experiência com Unity Catalog; Conhecimento em DBT; Experiência com MLOps e MLflow; Vivência no segmento financeiro; Certificações Azure e/ou Databricks. .