Data Engineer (m/w/d) Azure & Databricks | Cloud & Streaming

In dieser spannenden Position als Data Engineer (m/w/d) mit einem Schwerpunkt auf Databricks haben Sie die Möglichkeit, moderne Datenlösungen für Analytics und Machine Learning in einer innovativen Cloud-Umgebung zu gestalten. Sie arbeiten in einem erfahrenen Team, das sich auf neueste Technologien und echte Gestaltungsmöglichkeiten konzentriert. Ihre Hauptaufgaben umfassen die Entwicklung und Optimierung von Datenpipelines für die Batch- und Echtzeitverarbeitung unter Verwendung von Databricks, Spark und Kafka. Zudem sind Sie verantwortlich für den Aufbau und Betrieb skalierbarer Datenarchitekturen auf der Azure Cloud. Sie setzen MLOps-Workflows für Machine-Learning-Projekte um und integrieren sowie verarbeiten große Datenmengen aus unterschiedlichen Quellen. Ein weiterer wichtiger Aspekt Ihrer Rolle ist die Sicherstellung von Datenqualität, Performance und Sicherheit. Sie arbeiten eng mit Data Scientists und Analyst:innen zusammen und betreuen sowie entwickeln Streaming-Anwendungen weiter, beispielsweise mit Flink oder Spark Streaming. Darüber hinaus überwachen Sie die Dateninfrastruktur und tragen zur kontinuierlichen Verbesserung bei. Diese Position bietet Ihnen die Möglichkeit, in einem dynamischen und motivierten Team zu arbeiten, das gemeinsam an spannenden Projekten arbeitet und sich gegenseitig unterstützt.

Um in dieser Rolle erfolgreich zu sein, sollten Sie idealerweise ein Studium in Informatik, Data Science oder eine vergleichbare Qualifikation abgeschlossen haben. Erfahrung mit Databricks, insbesondere mit Tools wie MLflow, Unity Catalog und Delta Lake, ist von großem Vorteil. Sie sollten sehr gute Kenntnisse in Apache Spark, Kafka und Flink mitbringen sowie fundierte Programmierkenntnisse in Python oder Scala haben. Ein sicherer Umgang mit SQL ist ebenfalls erforderlich. Zudem haben Sie praktische Erfahrung mit der Azure Cloud; Kenntnisse in AWS oder GCP sind von Vorteil. Erfahrung mit CI/CD, Infrastructure-as-Code (z. B. Terraform), Kubernetes oder Docker ist ein Plus. Eine strukturierte und selbstständige Arbeitsweise sowie Teamorientierung sind für diese Position essenziell. Sehr gute Deutsch- und Englischkenntnisse runden Ihr Profil ab. Auch ein Quereinstieg ist möglich, sofern Sie entsprechende praktische Erfahrungen mitbringen.