Senior Data Engineer (m/w/d) Lakehouse, Databricks

Im Herzen von Köln bietet sich eine spannende Möglichkeit für einen Senior Data Engineer (m/w/d) im Versicherungsumfeld. Der Arbeitgeber betreibt eine moderne Data-&-AI-Plattform in der Azure Cloud, die für die Entwicklung und den Betrieb von KI-Systemen, das Hosting selbst trainierter KI-Modelle sowie die Durchführung von Ad-hoc-Analysen auf strukturierten und unstrukturierten Daten genutzt wird. Ihre Rolle umfasst die Weiterentwicklung dieser Plattform zu einem Lakehouse, die technische Anbindung weiterer IT-Systeme sowie die Implementierung von Entwicklungsprozessen für Lakehouse-Entwickler. Zudem werden Sie an der Migration von GitLab CI/CD zu GitHub Actions mitarbeiten und die Wiederherstellung sowie Bewertung vorhandener Assets, Daten und Daten-Pipelines im neuen Azure Tenant unterstützen. Das Team legt großen Wert auf eine respektvolle und offene Arbeitskultur, in der Innovation und technisches Know-how geschätzt werden. Nach der Einarbeitungsphase wird eine Vor-Ort-Anwesenheit von zwei aufeinanderfolgenden Tagen alle zwei Wochen gewünscht, was Ihnen die Möglichkeit gibt, eng mit Ihren Kollegen zusammenzuarbeiten und den Austausch zu fördern. Die Unternehmenskultur fördert eine ausgewogene Work-Life-Balance durch flexible Homeoffice-Regelungen und bietet Ihnen die Chance, in einem modernen, technischen Umfeld zu arbeiten, das auf Innovation fokussiert ist.

Der ideale Kandidat bringt ein tiefes Verständnis von Berechtigungsstrukturen in Databricks mit Unity Catalog mit und hat Erfahrung im Design sowie der Administration von Databricks Workspaces. Sie sollten in der Lage sein, resiliente Data-Pipelines mit PySpark zu entwickeln, einschließlich Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles (DAB). Kenntnisse in der Partitionierung von Daten in Delta Lake sind von Vorteil. Zudem sollten Sie Erfahrung mit GitLab CI/CD und/oder GitHub Actions haben. Sehr gute Deutschkenntnisse in Wort und Schrift sind ebenfalls erforderlich, um effektiv im Team kommunizieren zu können. Eine strukturierte und analytische Arbeitsweise sowie Teamfähigkeit und ein hohes Maß an Eigenverantwortung runden Ihr Profil ab. Eine Ausbildung oder ein Studium im Bereich Informatik, Data Science oder einem verwandten Feld ist wünschenswert.