Data Engineer - Mitglied des technischen Personals

Das Unternehmen ist auf einer spannenden Mission, die Grenzen des generativen Deep Learning für Medien zu erweitern. In einem kreativen und innovativen Umfeld arbeiten Sie an der Entwicklung leistungsstarker Modelle, die das Mögliche neu definieren. Als Data Engineer werden Sie eine zentrale Rolle spielen, indem Sie große Datensätze erstellen, die die nächste Generation generativer Modelle unterstützen. Zu Ihren Hauptaufgaben gehört die Entwicklung und Wartung skalierbarer Infrastrukturen für die Erfassung von Bild- und Videodaten. Sie werden Datenübertragungen von verschiedenen Lizenzpartnern verwalten und koordinieren sowie moderne ML-Modelle für die Datenbereinigung, -verarbeitung und -vorbereitung implementieren. Darüber hinaus optimieren Sie Datenverarbeitungs-Workflows, um Milliarden von Datensätzen effizient zu verarbeiten und sicherzustellen, dass die Datenqualität, Vielfalt und die richtige Annotation für die Trainingsbereitschaft gewährleistet sind. Sie arbeiten eng im Modellentwicklungsprozess zusammen, um die Daten nach Bedarf zu aktualisieren und zu verbessern. In einem dynamischen Team haben Sie die Möglichkeit, an der Spitze der technologischen Entwicklung zu stehen und Ihre Fähigkeiten in einem inspirierenden Arbeitsumfeld weiterzuentwickeln.

Der ideale Kandidat bringt umfassende Kenntnisse in Python mit und hat Erfahrung im Umgang mit verschiedenen Dateisystemen zur datenintensiven Manipulation und Analyse. Vertrautheit mit Cloud-Computing-Plattformen wie AWS, GCP oder Azure sowie mit Slurm/HPC-Umgebungen für die verteilte Datenverarbeitung ist erforderlich. Sie sollten Erfahrung mit Bild- und Videobearbeitungsbibliotheken wie OpenCV oder FFmpeg haben und nachweislich in der Lage sein, Datenverarbeitungs-Workflows über CPUs und GPUs zu optimieren und zu parallelisieren. Kenntnisse in der Datenannotation und den Prozessen zur Erstellung von ML-Trainingsdatensätzen sind ebenfalls wichtig. Darüber hinaus sind Kenntnisse in maschinellen Lerntechniken zur Datenbereinigung und -vorverarbeitung von Vorteil. Wünschenswert sind Erfahrungen in der Entwicklung großangelegter Datenerfassungssysteme sowie im Bereich der natürlichen Sprachverarbeitung für die Bild-/Videobeschriftung. Ein Verständnis für ethische Überlegungen bei der Datensammlung rundet Ihr Profil ab.