Benchmark Engineer

Das Unternehmen sucht einen Benchmark Engineer, der die Verantwortung für die Messung, Validierung und Kommunikation der Leistungsfähigkeit eines hochmodernen Vektordatenbanksystems übernimmt. In dieser Rolle werden Sie realistische Benchmarks entwerfen, Tools entwickeln und rohe Leistungsdaten in umsetzbare Erkenntnisse umwandeln, die wichtige Produktentscheidungen, Dokumentationen und das Vertrauen der Nutzer beeinflussen. Sie werden an der Schnittstelle zwischen Ingenieurwesen, Leistungsbewertung und Entwicklererfahrung arbeiten. Zu Ihren Aufgaben gehört es, reproduzierbare Benchmarks für Vektorsuche, Indizierung, Filterung und verteilte Arbeitslasten zu entwerfen und zu pflegen. Sie werden die Leistung in verschiedenen Dimensionen bewerten, darunter Latenz, Durchsatz, Rückruf, Speicherverbrauch und Kosten. Zudem vergleichen Sie die Datenbanklösung mit alternativen Ansätzen auf faire und technisch fundierte Weise. Sie bauen und pflegen Benchmarking-Tools, Datensätze und Automatisierungslösungen wie CI, Dashboards und Berichte. Die enge Zusammenarbeit mit den Kernentwicklern ermöglicht es Ihnen, Regressionen, Engpässe und Optimierungsmöglichkeiten zu identifizieren. Darüber hinaus helfen Sie, die Ergebnisse der Benchmarks in klare Narrative für Dokumentationen, Blogbeiträge und Präsentationen zu übersetzen. Es ist wichtig, dass die Benchmarks reale Benutzerarbeitslasten widerspiegeln und nicht nur synthetische Bestfälle.

Der ideale Kandidat bringt einen starken Hintergrund in der Softwareentwicklung mit, insbesondere in Programmiersprachen wie Rust, Python oder Go. Ein solides Verständnis von Datenbanken, verteilten Systemen oder Suchmaschinen ist unerlässlich. Erfahrungen in der Leistungstestung, Profilierung und Benchmarking sind ebenfalls erforderlich. Der Bewerber sollte in der Lage sein, über Trade-offs nachzudenken, wie beispielsweise Geschwindigkeit versus Genauigkeit oder Speicherverbrauch versus Latenz. Ein sicherer Umgang mit großen Datensätzen und Automatisierungspipelines ist von Vorteil. Klare Kommunikationsfähigkeiten sind notwendig, um Zahlen und deren Implikationen verständlich zu erklären. Wünschenswert sind zudem Erfahrungen mit Vektorsuche, ANN-Algorithmen oder ML-Infrastruktur sowie Vertrautheit mit Cloud-Umgebungen und containerisierten Arbeitslasten. Erfahrungen in der Mitwirkung an Open-Source-Projekten und Kenntnisse von Observabilitätswerkzeugen und Leistungsprofilierung runden das Profil ab.