Data Engineer – Schwerpunkt Infrastruktur & Plattform

In dieser spannenden Position als Data Engineer sind Sie verantwortlich für den Aufbau stabiler und skalierbarer Datenplattformen. Sie arbeiten in einem dynamischen Consulting-Umfeld und setzen für verschiedene Kunden innovative Datenprojekte um. Ihre Hauptaufgaben umfassen die Konzeption, den Aufbau und den Betrieb moderner Datenplattformen in Cloud-Umgebungen wie AWS, Azure oder GCP. Dabei automatisieren Sie die Infrastruktur konsequent mit Terraform. Sie entwickeln Lakehouse- und Data-Warehouse-Architekturen, beispielsweise mit Technologien wie Iceberg oder Delta Lake, und integrieren Streaming-Architekturen, unter anderem mit Kafka. Zudem stellen Sie die Stabilität, Sicherheit und Skalierbarkeit der Systeme sicher und verantworten CI/CD, Monitoring, Testing und Observability für die Datenplattformen. Durch Ihre Optimierung der Performance und Kosten datenintensiver Systeme tragen Sie maßgeblich zum Erfolg der Projekte bei. Sie werden Teil eines kreativen und dynamischen Teams, das Ihnen viel Raum für eigene Ideen und persönliche Weiterentwicklung bietet.

Der ideale Kandidat bringt mehrjährige Berufserfahrung als Data Engineer oder in einer vergleichbaren Rolle mit, vorzugsweise im Consulting- oder Projektumfeld. Sie verfügen über sehr gute SQL-Kenntnisse und haben fundierte Erfahrung in der Datenmodellierung, einschließlich dimensionaler Modellierung, Data Vault sowie Normalisierung und Denormalisierung. Kenntnisse in Streaming-Architekturen, insbesondere mit Kafka, sind ebenfalls erforderlich. Sie arbeiten sicher mit modernen Datenplattformen wie Databricks und/oder Snowflake sowie mit Orchestrierungstools wie dbt und Airflow. Ein gutes Verständnis für Datenarchitekturen, insbesondere Lakehouse- und Data-Warehouse-Ansätze, ist notwendig, um diese konzipieren und weiterentwickeln zu können. Erfahrungen im Aufbau und Betrieb von Cloud-basierten Datenplattformen in AWS, Azure oder GCP sowie in der Automatisierung mit Terraform sind von Vorteil. Darüber hinaus sind Kenntnisse in CI/CD, Monitoring, Testing und Observability im Datenumfeld wünschenswert. Eine Affinität zu Spark, PySpark, Python oder Trino/Presto ist von Vorteil, jedoch nicht zwingend erforderlich. Sie sind analytisch denkend, arbeiten selbstorganisiert und übernehmen Verantwortung in komplexen Kundenprojekten.