Data Engineer Mid-Level (m/w/d)

Job description

**Energie neu denken. Infrastruktur neu bauen. Zukunft neu gestalten – bei der Energy Metering Germany GmbH, einem Unternehmen der Octopus Energy Group.** Als innovativer Messstellenbetreiber treiben wir die Energiewende nicht nur voran – wir setzen sie technisch um. Digital, skalierbar und kompromisslos praxisorientiert. Von der Installation **intelligenter Messsysteme** inklusive Smart Meter Gateway über moderne Wallbox-Lösungen für Privathaushalte bis hin zu komplexen 1:n-Lösungen und CLS-Management nach §14a und §9 EnWG – wir bauen die vernetzte Energieinfrastruktur von morgen. Sicher, normkonform und hochautomatisiert. Unser Anspruch: Messstellenbetrieb neu definieren – als Rückgrat eines flexiblen, datengetriebenen Energiesystems. Dafür kombinieren wir regulatorische Exzellenz mit technischer Umsetzungskompetenz und operativer Geschwindigkeit. Wenn du nicht nur verwalten, sondern gestalten willst – dann baue mit uns das Energy Metering der nächsten Generation. 💚 Für den weiteren Ausbau und Betrieb unserer modernen Daten- und Analytics-Landschaft suchen wir einen vielseitigen **Mid-Level Data Engineer (m/w/d)**. In dieser Rolle bist du das Bindeglied zwischen robuster Data-Lakehouse-Infrastruktur, analytischem Reporting mit **Lightdash & Streamlit** und angewandten Data-Science-Use-Cases. ### Deine Aufgaben: Du begleitest Daten entlang ihres gesamten Lebenszyklus – von der Rohdatenaufnahme im Lakehouse über automatisierte Datenmodelle bis hin zu interaktiven Dashboards und Machine-Learning-gestützten Datenanwendungen.- **Lakehouse & Data Engineering (ca. 50%):** - Konzeption, Aufbau und Tuning performanter Pipelines auf Basis von **Databricks**. - Datenmodellierung mit **dbt** sowie Orchestrierung robuster DAGs via **Apache Airflow**. - **Governance & Performance:** - Etablierung automatisierter Data-Quality-Prüfungen, Data Lineage und Cluster-Optimierung. - **Analytics & Data Apps (ca. 25%):** - Aufbau einer semantischen Metriken-Schicht und Self-Service-BI in **Lightdash**. - Entwicklung interaktiver Analyse-Tools und Data Apps in Python (**Streamlit**). - **Data Science & ML (ca. 25%):** - Explorative Analysen, Prototyping und Training von ML-Modellen (z. B. Prognosen, Anomalien). - **MLOps & Business-Integration:** - Experiment-Tracking auf Databricks und Bereitstellung der Ergebnisse für Fachbereiche. ### Dein Profil: - **Berufserfahrung:** - Mindestens 2–4 Jahre Praxis im Data Engineering, Analytics Engineering oder einer vergleichbaren Rolle. - **Core Engineering Stack:** - Fundierte Praxis mit **Databricks** (Delta Lake, Unity Catalog), **dbt** und **Apache Airflow**. - **BI & Data Apps:** - Erfahrung mit **Lightdash** (oder Interesse an code-basierter BI) sowie mit **Streamlit**. - **Code & Datenbanksprachen:** - Exzellentes **SQL** (Performance-Tuning, komplexe Joins) und sehr gutes **Python** (pandas, PySpark, scikit-learn). - **Methodik & Best Practices:** - Routinierter Umgang mit **Git** / CI/CD und modernen Modellierungskonzepten (Star-Schema). - **Mindset & Sprachen:** - Pragmatische Hands-on-Mentalität, starke Kommunikationsfähigkeit und sehr gutes Deutsch & Englisch.