Der Kurs „Modellbewertung und Benchmarking“ richtet sich an Entwickler, Ingenieure und technische Produktentwickler, die sich noch nicht mit generativer KI auskennen, aber bereits über fortgeschrittene Kenntnisse im Bereich des maschinellen Lernens, grundlegende Python-Kenntnisse und Erfahrung mit Entwicklungsumgebungen wie VS Code verfügen und die offene generative KI-Lösungen entwickeln, anpassen und bereitstellen möchten, ohne dabei in eine Anbieterabhängigkeit zu geraten.

Der Kurs vermittelt den Teilnehmern die Fähigkeiten, die Leistung sowohl von text- als auch von bildgenerierenden Modellen zu bewerten und zu vergleichen. Ausgehend von der Textbewertung wenden die Teilnehmer Standardmetriken wie Perplexity, BLEU (Bilingual Evaluation Understudy), ROUGE (Recall-Oriented Understudy for Gisting Evaluation) und BERTScore an und entwerfen gleichzeitig Protokolle für die menschliche Bewertung sowie aufgabenspezifische Methoden für Anwendungen wie Zusammenfassung oder Übersetzung. Anschließend befasst sich der Kurs mit der Bildauswertung unter Verwendung technischer Metriken, darunter FID (Fréchet Inception Distance), CLIP-Ähnlichkeit (Contrastive Language–Image Pretraining similarity) und SSIM (Structural Similarity Index Measure), sowie mit auf der menschlichen Wahrnehmung basierenden Bewertungstechniken und Systemen zur Artefakterkennung. Im abschließenden Modul entwerfen die Teilnehmer umfassende Benchmarking-Frameworks mit reproduzierbaren Testumgebungen, Versionskontrolle und Visualisierungs-Dashboards zur kontinuierlichen Überwachung. Am Ende des Kurses sind die Teilnehmer in der Lage, automatisierte, domänenspezifische Bewertungssysteme zu implementieren und detaillierte Leistungsberichte zu erstellen, die sicherstellen, dass generative Modelle strenge Qualitätsstandards erfüllen.