Sie werden Trainingsprotokolle und Verlustkurven analysieren, um häufige Probleme beim Modelltraining zu diagnostizieren.

Sie werden die Auswirkungen von Verfahren zur Behebung von Klassenungleichgewichten auf die Modellleistung bewerten.

Sie werden geeignete Leistungskennzahlen anwenden, um Modelle des maschinellen Lernens zu bewerten.

Sie werden Verwechslungsmatrizen und Residualplots analysieren, um systematische Modellvorhersagefehler zu identifizieren.

Sie werden die statistische Signifikanz der Unterschiede bei den Kennzahlen bewerten.

Sie werden Validierungsverfahren anwenden, um die Modellleistung anhand bisher unbekannter Daten zu bewerten.

Sie analysieren die Ergebnisse von A/B-Tests oder Schattenbereitstellungen, um die Leistung des neuen Modells mit einer Basislinie zu vergleichen.

Sie werden Indikatoren für Modelldrift auswerten, um Workflows zum erneuten Training auszulösen.

In diesem Projekt entwerfen und implementieren Sie ein Framework zur Bewertung und Überwachung von Machine-Learning-Modellen für ein Produktionssystem. Ein Technologieunternehmen hat ein Empfehlungsmodell eingesetzt, das die Interaktion der Nutzer mit Inhalten vorhersagt, doch dessen Leistung ist aufgrund möglicher Datenverschiebungen und sich verändernden Nutzerverhaltens unbeständig geworden. Ihre Aufgabe ist es, eine Evaluierungspipeline zu erstellen, die Modellversionen vergleicht, Vorhersagefehler analysiert und die Leistungsstabilität im Zeitverlauf überwacht. Sie trainieren Basis- und verbesserte Modelle, analysieren Trainingsprotokolle und Verlustkurven, um die Konvergenz zu überprüfen, bewerten Techniken zum Umgang mit Klassenungleichgewichten, um eine faire Bewertung über alle Klassen hinweg sicherzustellen, bewerten diese anhand geeigneter Metriken, Fehler mithilfe von Verwechslungsmatrizen und Residualplots analysieren, statistische Vergleiche durchführen, Überwachungsszenarien wie A/B-Tests oder Schattenbereitstellungen simulieren, Driftindikatoren wie den Population Stability Index (PSI) berechnen und Bedingungen für das erneute Trainieren des Modells definieren. Das Endergebnis ist ein modulares Python-Evaluierungs-Framework zusammen mit einer schriftlichen technischen Erläuterung, die aufzeigt, wie die Erkenntnisse aus der Evaluierung zuverlässige Entscheidungen zur Modellbereitstellung unterstützen.