Vous analyserez les journaux d'entraînement et les courbes de perte afin d'identifier les problèmes courants liés à l'entraînement des modèles.

Vous évaluerez l'impact des techniques de traitement du déséquilibre entre les classes sur les performances du modèle.

Vous utiliserez des indicateurs de performance adaptés pour évaluer les modèles d'apprentissage automatique.

Vous analyserez des matrices de confusion et des graphiques de résidus afin d'identifier les erreurs systématiques de prédiction du modèle.

Vous évaluerez la signification statistique des différences observées entre les indicateurs.

Vous utiliserez des techniques de validation pour évaluer les performances du modèle sur des données non vues.

Vous analyserez les résultats des tests A/B ou des déploiements en mode « shadow » afin de comparer les performances du nouveau modèle à celles d'une référence.

Vous évaluerez les indicateurs de dérive du modèle afin de déclencher des workflows de réentraînement.

Dans le cadre de ce projet, vous devrez concevoir et mettre en œuvre un cadre d’évaluation et de suivi des modèles d’apprentissage automatique destiné à un système de production. Une entreprise technologique a déployé un modèle de recommandation qui prédit l’engagement des utilisateurs vis-à-vis d’un contenu, mais ses performances sont devenues irrégulières en raison d’une dérive potentielle des données et de l’évolution du comportement des utilisateurs. Votre mission consiste à mettre en place un pipeline d’évaluation permettant de comparer les différentes versions du modèle, d’analyser les erreurs de prédiction et de surveiller la stabilité des performances au fil du temps. Vous devrez entraîner des modèles de référence et des modèles améliorés, analyser les journaux d’entraînement et les courbes de perte pour vérifier la convergence, évaluer les techniques de gestion du déséquilibre entre les classes afin de garantir une évaluation équitable entre celles-ci, les évaluer à l’aide de métriques appropriées, analyser les erreurs à l’aide de matrices de confusion et de graphiques de résidus, effectuer des comparaisons statistiques, simuler des scénarios de surveillance tels que des tests A/B ou des déploiements fantômes, calculer des indicateurs de dérive comme l’indice de stabilité de la population (PSI), et définir les conditions de réentraînement du modèle. Le livrable final est un cadre d’évaluation Python modulaire, accompagné d’une explication technique écrite démontrant comment les informations issues de l’évaluation permettent de prendre des décisions fiables en matière de déploiement des modèles.