Überwachung und Optimierung moderner KI-Agentensysteme im Produktivbetrieb (m/w/d)

Moderne Tracing-Werkzeuge wie MLFlow bieten eine Vielzahl von Metriken, um die Datenflüsse und Verarbeitungsschritte innerhalb eines KI-Agentensystems, das auf Transformern basiert, darzustellen. Je nach Komplexität des Systems fallen zusätzliche Metriken an, die als Ergänzung dienen, um das Systemverhalten insgesamt darzustellen. 

Hier setzt deine Abschlussarbeit an: Du unterstützt uns bei der Entwicklung von Best-Practice-Ansätzen, um das Systemverhalten auf Basis effektiver Auswertungen und Systemoptimierungen anhand von Nutzerfeedback zu verbessern. Du analysierst State-of-the-Art-Tracing-Werkzeuge und -Methoden, leitest fundierte Handlungsempfehlungen ab und untermauerst diese mit Best-Practice-Beispielen. Zur Bewertung von Traces nutzt du Metriken, die automatisch generiert werden (z. B. heuristische Metriken oder LLM-as-a-Judge) und optional durch Nutzerfeedback ergänzt werden. Ein zentraler Aspekt ist dabei die systematische Verknüpfung dieser verschiedenen Datenquellen und Bewertungsmethoden.

Fiona Laube, Specialist Recruiting & HR Marketing
jobs@mm-software.com
Tel.: +49 7724 9415-36

Bewirb dich gerne per du und nutze unsere Vornamen!