Data Engineer/ Data Analyst (on-site)

Job description

Chez Sword Technologies, nous accompagnons nos clients dans leurs projets de transformation digitale, en intervenant sur des missions à forte valeur ajoutée dans des environnements exigeants. Nous accordons une attention particulière à la qualité des missions proposées ainsi qu’à l’accompagnement de nos collaborateurs dans leur évolution. Dans le cadre de notre développement, nous recherchons des profils afin de renforcer nos équipes. Nous recherchons un(e) Data Engineer / Data Analyst polyvalent(e) capable de concevoir, maintenir et optimiser des solutions data sur un environnement Microsoft Azure existant, tout en accompagnant les équipes analytiques au quotidien. Mission : Intégré(e) à une équipe Data & Analytics s'appuyant sur l'écosystème Microsoft Azure , vous interviendrez en tant que profil Data Engineer polyvalent avec une bonne sensibilité analytique. Votre rôle sera avant tout opérationnel : concevoir, développer et maintenir des pipelines de données avec Azure Data Factory , développer des traitements et transformations via Databricks , et gérer les structures de stockage dans Azure Data Lake Storage Gen2 . Vous construirez et ferez évoluer des processus ETL / ELT robustes, en travaillant avec des formats tels que Delta Lake et Parquet , et en intégrant des données provenant de sources internes et externes variées. Au-delà du développement, vous serez responsable du diagnostic et de la résolution des problèmes liés aux pipelines, au stockage et aux traitements de données. Vous superviserez et optimiserez les pipelines existants, mettrez en place des contrôles de qualité des données appropriés et participerez aux activités de modélisation des données . Vous développerez vos transformations principalement en SQL , Python et/ou PySpark , dans le respect des bonnes pratiques de l'architecture Lakehouse . Vous collaborerez étroitement avec les équipes techniques ainsi qu'avec les interlocuteurs métiers, en apportant un support pragmatique aux Data Analysts et aux développeurs Power BI dans leurs besoins en données. Le profil attendu est résolument hands-on , autonome et adaptable : une personne capable de naviguer entre le Data Engineering, l'analyse de données et le support technique en fonction des priorités de l'équipe, plutôt qu'un profil cantonné à un périmètre purement architectural. Environnement technique : Must have : Solide expérience pratique avec Databricks Solide expérience pratique avec Azure Data Factory (ADF) Solide expérience avec Azure Data Lake Storage Gen2 (ADLS Gen2) , y compris les mécanismes de sécurité et de gestion des accès Très bonnes compétences en SQL Bonne maîtrise de Python et/ou PySpark Maîtrise des concepts ETL / ELT et expérience avérée dans la conception, le développement et la maintenance de pipelines de données Expérience avec Delta Lake et le format Parquet Bonne compréhension des architectures Data Lake / Lakehouse Bonne compréhension de la modélisation des données et des besoins analytiques et BI Expérience dans l'intégration de sources de données variées et des principaux patterns d'intégration Capacité à diagnostiquer de manière autonome les problématiques liées aux données, au stockage et aux pipelines Maîtrise du français et de l' anglais (oral et écrit) Nice to have : Expérience avec Power BI et les Power BI Semantic Models Pratiques CI/CD appliquées au Data Engineering Connaissance des pratiques de Data Quality et notions de Data Governance Expérience avec Azure DevOps Expérience dans des environnements Azure d'entreprise à grande échelle Maîtrise de l' allemand