La formation « Optimisation des modèles pour la production » s’adresse aux développeurs, ingénieurs et responsables techniques de produits qui découvrent l’IA générative, mais qui possèdent déjà des connaissances intermédiaires en apprentissage automatique, une maîtrise de base de Python et une bonne connaissance des environnements de développement tels que VS Code, et qui souhaitent concevoir, personnaliser et déployer des solutions ouvertes d’IA générative tout en évitant la dépendance vis-à-vis d’un fournisseur.

Cette formation prépare les participants à rendre les modèles d’IA générative plus efficaces, évolutifs et rentables en vue d’un déploiement en conditions réelles. Les participants commencent par la quantification, en appliquant une réduction de précision INT8 et INT4 à l’aide d’outils tels que bitsandbytes, tout en trouvant le juste équilibre entre précision et efficacité. Ils explorent ensuite les stratégies d’optimisation de l’inférence, notamment le traitement par lots, la gestion du cache KV et la planification des calculs au niveau des tokens, afin de réduire la latence dans les applications interactives. La formation aborde également la réduction de l’empreinte mémoire et le dimensionnement adaptatif des lots pour les charges de travail dynamiques. Dans le dernier module, les apprenants appliquent des techniques pratiques d’optimisation matérielle, telles que le réglage de la mémoire du GPU, l’inférence en précision mixte et des outils de profilage comme NVIDIA-SMI et PyTorch Profiler, afin d’identifier les goulots d’étranglement. À l’issue de cette formation, les apprenants seront en mesure de fournir des modèles optimisés sur divers environnements matériels, étayés par des benchmarks de performances et des pipelines de déploiement reproductibles.