Senior Data Engineer (m/w/d)

Unser Kunde ist ein etabliertes mittelständisches Unternehmen, das umfassende technische Expertise in der Industrie bietet. In Ihrer Rolle als Senior Data Engineer sind Sie verantwortlich für die Entwicklung, den Betrieb und die Optimierung von Datenprodukten sowie Batch- und Streaming-Pipelines in Microsoft Fabric Lakehouses. Sie übernehmen die End-to-End-Verantwortung für Datenprodukte, einschließlich Ingestion, Transformation, Tests, Deployment, Scheduling, Monitoring und Workflow-Orchestrierung mit Airflow. Zudem identifizieren Sie Optimierungspotenziale in Bezug auf Time-to-Market, Betriebskosten und Performance. Die Entwicklung von Data-Warehousing-Artefakten in MySQL sowie die Sicherstellung von Datenqualität, Anonymisierung und DSGVO-Konformität gehören ebenfalls zu Ihren Aufgaben. Sie arbeiten eng mit einem agilen DevOps-Team im Scrum- oder SAFe-Framework zusammen und sind für die Dokumentation sowie den fachlichen Betrieb verantwortlich. Ihr Engagement und Ihre Expertise tragen maßgeblich zur Bereitstellung analysierbarer Datasets für Power BI bei, was für die Entscheidungsfindung im Unternehmen von großer Bedeutung ist.

Der ideale Kandidat verfügt über ein abgeschlossenes Studium im Bereich Informatik, Wirtschaftsinformatik, Data Science oder eine vergleichbare Qualifikation mit starkem IT- und Datenbezug. Sie sollten einschlägige Berufserfahrung mitbringen, insbesondere in der Arbeit mit Microsoft Fabric/Azure, der Power-BI-Datenbereitstellung sowie MySQL und den Grundlagen des Data Warehousing. Erfahrung im Anwendungsbetrieb, in agilen SCRUM-Teams und mit GitLab CI/CD ist ebenfalls erforderlich. Sehr gute SQL-Kenntnisse sowie Erfahrung mit Spark (Scala), Delta Lake, Kafka/Event Hubs und Airflow sind von Vorteil. Darüber hinaus sollten Sie über Kenntnisse in Batch- und Streaming-Architekturen, Performance-Optimierung, Datenqualität und DSGVO verfügen. Optional sind Erfahrungen mit AWS (S3, EMR, Lambda) und Migrationen in Richtung Fabric sowie Grundlagen in Infrastructure as Code (IaC) wünschenswert. Sehr gute Deutschkenntnisse (C1/C2) in Wort und Schrift sind Voraussetzung, da Deutsch die Arbeitssprache in diesem Projekt ist.