Senior Data Engineer (H/F)

Job description

Description de l'entreprise Chez Devoteam, nous sommes des « Digital Transformakers ». Le respect, la franchise et la passion animent chaque jour notre tribu. Ensemble, nous aidons nos clients à remporter la bataille du Digital : du conseil à la mise en œuvre de technologies innovantes, jusqu’à l’adoption des usages. Cloud, Cybersecurity, Data, DevOps, Fullstack Dev, Low Code, RPA n’ont plus aucun secret pour notre tribu ! Nos 10 000+ collaborateurs sont certifiés, formés et accompagnés au quotidien pour relever de nouveaux challenges innovants. Leader du Cloud, de la Cybersécurité et de la Data en EMEA, le Groupe Devoteam a réalisé en 2022 un chiffre d’affaires de 1,036 milliard d’euros et se donne pour ambition de le doubler dans les 5 années à venir. Devoteam Maroc, acteur de référence dans les expertises IT depuis plus de 30 ans (350+ consultants) accélère sa croissance en développant ses activités d’expertise en nearshore pour répondre aux besoins de nos clients français, européens et moyen orientaux. Es-tu prêt(e) à nous rejoindre et relever ensemble ce défi ? Description du poste Dans le cadre du renforcement des équipes Data, nous recherchons des profils capables de concevoir, industrialiser et optimiser des plateformes de données (batch & temps réel) au sein d’environnements distribués basés sur Cloudera. Vos missions : Développement & Industrialisation Développer des pipelines de traitement en PySpark . Mettre en place des flux temps réel via Kafka (topics, partitions, schémas, offsets). Modéliser et optimiser les schémas Cassandra (tables, clés, clustering, réplication). Intégrer et transformer des données provenant de multiples sources (APIs, BDD, streams, fichiers). Qualité, Performance & Fiabilité Déployer des mécanismes de Data Quality (contrôles, monitoring, alerting). Optimiser les traitements Spark (partitioning, tuning, formats de données). Assurer la supervision et la résolution des incidents en production. CI/CD & Gouvernance Industrialiser les développements via des chaînes CI/CD (tests automatisés, déploiements). Documenter les flux, modèles et bonnes pratiques. Contribuer à la gouvernance des données : catalogue, traçabilité, sécurité. Qualifications 4 ans d’expérience dans des environnements distribués et des architectures Big Data Spark / PySpark : batch & streaming. Python : scripts, librairies data, tests automatisés. Kafka : conception de flux, producers/consumers, partitions. Cassandra : modélisation orientée requêtes, optimisation, administration. Solide maîtrise de SQL + connaissances NoSQL. Connaissance d’un outil d’orchestration : Airflow, Luigi, Prefect… Bonne compréhension des environnements distribués (Cloudera, Hadoop). Compétences en Git , CI/CD (GitLab CI…). Pratiques DevOps / MLOps appréciées. Informations supplémentaires Pourquoi nous rejoindre ? Rejoindre Devoteam, c’est : Évoluer sur des projets stratégiques autour de la donnée Bénéficier d’un accompagnement personnalisé pour le développement de vos compétences et certifications Travailler dans un environnement stimulant, collaboratif et bienveillant