In der Rolle des Data Engineers sind Sie verantwortlich für die Entwicklung und Optimierung von Datenpipelines, die große Mengen industrieller Telemetriedaten verarbeiten. Sie arbeiten mit modernen Technologien wie PySpark und Databricks, um komplexe Datenprobleme in robuste und skalierbare Lösungen zu verwandeln. Ihre Hauptaufgaben umfassen die Analyse und Verarbeitung dieser Telemetriedaten, die Sicherstellung von Datenqualität und Performance über den gesamten Datenlebenszyklus sowie die eigenverantwortliche Arbeit in einem modernen, remote-first Arbeitsumfeld. Sie werden Teil eines kleinen, hochspezialisierten Teams, das eng zusammenarbeitet, um innovative Lösungen zu entwickeln. Das Unternehmen bietet Ihnen die Möglichkeit, an technisch anspruchsvollen Projekten zu arbeiten und echten Gestaltungsspielraum in einer wachsenden Datenplattform zu erleben. Die Unternehmenskultur fördert eine pragmatische Engineering-Philosophie mit einem klaren Fokus auf Qualität und Eigenverantwortung. Zudem profitieren Sie von einem flexiblen Arbeitsmodell, das 100 % Remote-Arbeit ermöglicht und Ihnen die Freiheit gibt, Ihre Arbeitszeiten selbst zu gestalten.
Data Engineer (m/w/d) - Spark / Databricks / Telemetrie
Beschreibung
Anforderungen
Für diese Position sollten Sie über fundierte Praxiserfahrung mit PySpark und Databricks in produktiven Umgebungen verfügen. Sie sollten Erfahrung im Aufbau und Betrieb skalierbarer Datenpipelines für große Datenvolumina mitbringen. Ein gutes Verständnis für Telemetrie- und Zeitreihendaten sowie deren spezifische Herausforderungen ist ebenfalls wichtig. Die Fähigkeit, komplexe Datenprobleme in pragmatische und nachhaltige Lösungen zu überführen, ist entscheidend. Eine strukturierte und eigenverantwortliche Arbeitsweise wird vorausgesetzt. Von Vorteil sind Kenntnisse in Azure, insbesondere in Bezug auf Data Lake, Event Hubs und Databricks auf Azure, sowie Vertrautheit mit Delta Lake, Spark Structured Streaming oder ähnlichen Technologien. Erfahrung mit CI/CD-Prozessen für Datenpipelines ist wünschenswert. Gute Deutsch- und Englischkenntnisse sind erforderlich, um effektiv kommunizieren zu können.