Data Engineer Databricks / Lakehouse (w/m/d)

Unser Kunde ist ein führendes Unternehmen im Bereich Telekommunikation in Deutschland, das mit über 3.100 Mitarbeitenden und fast 16 Millionen Kundenverträgen eine bedeutende Marktstellung einnimmt. In der Rolle des Data Engineers gestalten Sie aktiv die Transformation der Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Ihre Hauptaufgaben umfassen die Entwicklung und den Betrieb moderner ETL-/ELT-Pipelines, die auf Python basieren, insbesondere mit PySpark in Databricks. Sie sind verantwortlich für die Ablösung bestehender Data-Warehouse- und ETL-Strukturen und den Aufbau differenzierter Pipeline-Logiken, um Stabilität und Auditierbarkeit zu gewährleisten. Zudem implementieren Sie Datenqualitätsprüfungen und stellen die Konsistenz der Daten während der Migration bestehender Systeme sicher. In enger Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams tragen Sie zur Erstellung und Pflege technischer Dokumentation bei. Das Unternehmen bietet Ihnen ein dynamisches Arbeitsumfeld, in dem innovative Technologien im Vordergrund stehen. Sie haben die Möglichkeit, Ihre Fähigkeiten in einem kreativen Team weiterzuentwickeln und aktiv zur Zukunft des Unternehmens beizutragen.

Der ideale Kandidat verfügt über ein abgeschlossenes Studium in Informatik, Data Engineering, Wirtschaftsinformatik oder einem vergleichbaren Bereich. Sie bringen mehrjährige Erfahrung im Data Engineering mit, idealerweise zwischen 3 und 6 Jahren. Sehr gute Kenntnisse in Python, insbesondere in PySpark, sowie fundierte Erfahrung mit Apache Spark und Databricks sind unerlässlich. Ein starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung wird vorausgesetzt. Sie sollten zudem Erfahrung mit Microsoft SQL Server und sehr gute SQL-Kenntnisse mitbringen. Eine analytische, strukturierte und lösungsorientierte Arbeitsweise ist für diese Position von großer Bedeutung. Kenntnisse in Orchestrierungstools wie Airflow oder Databricks Workflows sowie ein Verständnis von Data Governance und Metadatenmanagement runden Ihr Profil ab. Persönliche Eigenschaften wie Teamfähigkeit, Kommunikationsstärke und eine proaktive Herangehensweise an Herausforderungen sind ebenfalls wichtig.