Le cours Évaluation de modèles et analyse comparative est conçu pour les développeurs, les ingénieurs et les concepteurs de produits techniques qui sont nouveaux dans l'IA générative mais qui ont déjà une connaissance intermédiaire de l'apprentissage automatique, une maîtrise de base de Python et une familiarité avec les environnements de développement tels que VS Code, et qui veulent concevoir, personnaliser et déployer des solutions ouvertes d'IA générative tout en évitant le verrouillage des fournisseurs. Le cours équipe les apprenants avec les compétences pour évaluer et comparer la performance des modèles génératifs de texte et d'image. En commençant par l'évaluation des textes, les apprenants appliquent des mesures standard telles que la perplexité, BLEU (Bilingual Evaluation Understudy), ROUGE (Recall-Oriented Understudy for Gisting Evaluation), et BERTScore, tout en concevant des protocoles d'évaluation humaine et des méthodes spécifiques aux tâches pour des applications telles que le résumé ou la traduction. Le cours explore ensuite l'évaluation d'images à l'aide de métriques techniques, notamment FID (Fréchet Inception Distance), la similarité CLIP (Contrastive Language-Image Pretraining similarity) et SSIM (Structural Similarity Index Measure), parallèlement à des techniques d'évaluation basées sur la perception humaine et à des systèmes de détection d'artefacts. Dans le dernier module, les apprenants conçoivent des cadres d'évaluation complets avec des environnements de test reproductibles, un contrôle des versions et des tableaux visuels pour un suivi continu. À la fin, les apprenants seront en mesure de mettre en œuvre des systèmes d'évaluation automatisés et spécifiques à un domaine et de fournir des rapports de performance détaillés qui garantissent que les modèles génératifs répondent à des normes de qualité rigoureuses.