Unser Kunde ist ein führender Telekommunikationsanbieter in Deutschland mit über 3.100 Mitarbeitenden und einer breiten Kundenbasis. In der Rolle des Data Engineers gestalten Sie aktiv die Transformation der Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Sie sind verantwortlich für die Entwicklung und den Betrieb moderner ETL-/ELT-Pipelines unter Verwendung von Python, insbesondere PySpark. Ihre Aufgaben umfassen die Ablösung bestehender Data-Warehouse- und ETL-Strukturen durch innovative Lakehouse-Architekturen sowie den Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität und Datenqualität. Sie arbeiten eng mit BI-, Analytics-, Architektur- und Entwicklungsteams zusammen und tragen zur Optimierung der Datenpipelines hinsichtlich Performance und Kosten bei. Zudem sind Sie für die Erstellung und Pflege technischer Dokumentationen zuständig. In einem dynamischen und kreativen Arbeitsumfeld haben Sie die Möglichkeit, Ihre Ideen einzubringen und die Zukunft des Unternehmens aktiv mitzugestalten.
Data Engineer Databricks / Lakehouse (w/m/d)
Beschreibung
Anforderungen
Der ideale Kandidat verfügt über ein abgeschlossenes Studium in Informatik, Data Engineering, Wirtschaftsinformatik oder einem vergleichbaren Bereich. Sie bringen mehrjährige Erfahrung im Data Engineering mit, idealerweise zwischen 3 und 6 Jahren. Sehr gute Kenntnisse in Python, insbesondere in PySpark, sowie fundierte Erfahrungen mit Apache Spark und Databricks sind erforderlich. Ein starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung ist ebenfalls wichtig. Erfahrung mit Microsoft SQL Server und sehr gute SQL-Kenntnisse werden vorausgesetzt. Eine analytische, strukturierte und lösungsorientierte Arbeitsweise sowie Kenntnisse in Orchestrierungstools wie Airflow oder Databricks Workflows sind von Vorteil. Zudem sollten Sie ein Verständnis für Data Governance, Compliance und Metadatenmanagement mitbringen.