Dans cette section, nous présentons les outils essentiels nécessaires au cours, en particulier pour le projet LLM Twin. Nous donnons un aperçu de la pile technologique, couvrons les procédures d'installation de Python et de son écosystème, la gestion des dépendances avec Python, et l'exécution des tâches à l'aide de Poe the Poet. Cette section donne également un aperçu des outils MLOps et LLMOps, y compris ZenML et Hugging Face, et explique leur rôle dans le projet. Enfin, nous guidons les utilisateurs dans la configuration d'un compte AWS, en nous concentrant sur SageMaker pour le déploiement de modèles ML.

Dans cette section, nous nous plongeons dans le projet LLM Twin en concevant un pipeline de collecte de données pour rassembler les données brutes essentielles aux cours d'utilisation LLM, tels que le réglage fin et l'inférence. Nous nous concentrerons sur la mise en œuvre d'un pipeline ETL qui agrège les données de plateformes telles que Medium et GitHub dans un entrepôt de données MongoDB, simulant ainsi des scénarios de projets d'apprentissage automatique du monde réel.

Dans cette section, nous explorons le pipeline de caractéristiques de la Génération augmentée par récupération (RAG), une technique cruciale pour intégrer des données personnalisées dans de grands modèles de langage sans ajustement constant. Nous présentons les composants fondamentaux d'un système RAG naïf, tels que le chunking, l'embedding et les bases de données vectorielles. Nous approfondissons également l'architecture du pipeline de fonctionnalités RAG de LLM Twin, en appliquant des concepts théoriques par le biais d'une mise en œuvre pratique, et nous discutons de l'importance du RAG pour résoudre des problèmes tels que les hallucinations de modèles et les vieilles données. Cette section offre un aperçu approfondi des techniques RAG avancées et du rôle des pipelines de lots dans la synchronisation des données pour une meilleure précision.

Dans cette section, nous allons explorer le processus de réglage fin supervisé (SFT) pour les Grands modèles de langage (LLM). Nous nous pencherons sur la création d'ensembles de données d'instruction et sur la manière dont ils sont utilisés pour affiner les LLM pour des tâches spécifiques. Cette section couvre les étapes impliquées dans la création de ces ensembles de données, l'importance de la qualité des données, et présente diverses techniques et stratégies pour améliorer le processus d'affinage. Nous nous concentrerons sur la transformation des modèles à usage général en assistants spécialisés par le biais du SFT, ce qui leur permet de fournir des réponses plus cohérentes et plus pertinentes.

Dans cette section, nous nous plongeons dans le domaine de l'alignement des préférences, en examinant comment l'optimisation directe des préférences (DPO) peut affiner les modèles de langage pour mieux s'aligner sur les préférences humaines. Nous développons la création et l'évaluation des ensembles de données de préférences, en veillant à ce que nos modèles capturent des interactions humaines nuancées.

Dans cette section, nous nous penchons sur l'évaluation des grands modèles de langage (LLM), en abordant diverses méthodes d'évaluation et leur importance. Nous couvrons les évaluations générales, spécifiques à un domaine et spécifiques à une tâche, en soulignant les défis uniques que chacune d'entre elles présente. En outre, nous explorons les pipelines de Génération Augmentée de Récupération (RAG) et présentons des outils tels que Ragas et ARES pour une évaluation complète des LLM.

Dans cette section, nous allons nous plonger dans l'art du réglage fin des grands modèles de langage afin d'améliorer leurs performances et leur efficacité. Nous explorerons les stratégies clés pour optimiser le processus d'inférence de ces modèles, une étape cruciale compte tenu de leurs exigences élevées en matière de calcul et de mémoire. De la réduction de la latence à l'amélioration du débit et à la minimisation de l'utilisation de la mémoire, nous examinons comment déployer du matériel spécialisé et des techniques innovantes pour améliorer les résultats des modèles. En apprenant ces secrets d'optimisation, vous débloquerez des déploiements plus efficaces, qu'il s'agisse de tâches à réponse rapide comme la complétion de code ou la génération de documents par lots.

Dans cette section, nous explorons la construction et la mise en œuvre d'un pipeline d'inférence RAG, en commençant par la compréhension de son architecture jusqu'à la mise en œuvre de modules clés tels que la récupération, la création d'invites et l'interaction avec le LLM. Nous introduisons des méthodes pour optimiser les processus de récupération comme l'expansion de la requête et l'auto-requête tout en utilisant l'API d'OpenAI, et nous intégrons ces techniques dans un module de récupération complet. Nous conclurons en assemblant ces éléments dans un pipeline d'inférence cohérent et en nous préparant à d'autres étapes de déploiement.

Dans cette section, nous nous concentrons sur le déploiement du pipeline d'inférence pour les grands modèles de langage (LLM) dans les applications de ML, en veillant à ce que les modèles soient accessibles et efficaces pour les utilisateurs finaux. Nous aborderons les stratégies de déploiement, les décisions architecturales et les techniques d'optimisation pour relever des défis tels que la puissance de calcul et l'accès aux fonctionnalités.

Dans cette section, nous plongeons dans les subtilités des MLOps et des LLMOps, en explorant leurs rôles dans l'automatisation des processus d'apprentissage automatique et la gestion de grands modèles de langage. Nous couvrirons leurs origines dans DevOps, soulignerons les défis uniques que les LLMOps abordent, tels que la gestion des prompts et les problèmes de mise à l'échelle, et illustrerons les étapes pratiques pour déployer ces systèmes efficacement. Cette section comprend également des discussions sur la transition du déploiement manuel vers des solutions basées sur le cloud, en soulignant les avantages des pipelines CI/CD et de la Dockérisation dans l'exécution et la gestion des modèles à l'échelle.