Ce cours explore les fondements et l'évolution des architectures modernes de type « Transformer », en vous faisant découvrir les premiers modèles séquentiels jusqu'aux systèmes multimodaux avancés qui sont à l'origine des percées actuelles en matière d'IA. Alliant une grande profondeur conceptuelle à des démonstrations pratiques, ce cours propose un parcours structuré à travers les mécanismes d'attention, la conception des « Transformers », les innovations en matière d'efficacité et les stratégies d'entraînement à grande échelle.

Vous commencerez par comprendre les réseaux neuronaux récurrents (RNN), les LSTM et les GRU, en examinant leurs atouts et leurs limites dans la modélisation des données séquentielles. De là, vous passerez aux mécanismes d’attention et à l’attention multi-têtes, en découvrant comment les transformateurs ont surmonté des défis de longue date tels que la disparition des gradients et la modélisation des dépendances à long terme. Au fil du cours, vous acquerrez une compréhension approfondie des architectures encodeur-décodeur, des techniques d’encodage positionnel telles que les plongements sinusoïdaux et RoPE, ainsi que des innovations en matière d’efficacité comme Flash Attention, GQA et Mixture of Experts (MoE). Le cours s’étend ensuite à l’apprentissage multimodal et aux systèmes basés sur la similarité. Vous explorerez les Vision Transformers (ViT), les techniques d’alignement des représentations, l’apprentissage contrastif et les stratégies d’entraînement distribué à grande échelle. À travers des démonstrations et des analyses, vous verrez comment les systèmes Transformer modernes s’adaptent à des ensembles de données massifs tout en conservant leurs performances et leur efficacité en termes de mémoire. À l’issue de ce cours, vous serez capable de : • Expliquer les limites des modèles de séquences traditionnels basés sur les RNN et comment les mécanismes d’attention y remédient. • Mettre en œuvre et analyser l’attention multi-têtes ainsi que les architectures encodeur-décodeur de type Transformer. • Comparer les stratégies d’encodage positionnel et comprendre leur impact sur la généralisation des modèles. • Évaluer des techniques d’optimisation telles que Flash Attention, GQA et MoE pour l’évolutivité des transformateurs. • Comprendre les Vision Transformers et l’apprentissage de représentations multimodales. • Appliquer des concepts d’apprentissage par similarité à l’aide d’embeddings et de métriques de distance. • Concevoir des systèmes d’entraînement de transformateurs évolutifs à l’aide de stratégies distribuées et optimisées en termes de mémoire. • Concevoir des systèmes basés sur les Transformers pour des applications concrètes de traitement du langage naturel (NLP) et multimodales. Ce cours s’adresse aux ingénieurs en IA, aux professionnels de l’apprentissage automatique, aux chercheurs et aux étudiants de niveau avancé qui souhaitent acquérir une compréhension rigoureuse des systèmes Transformers, au-delà d’une simple utilisation superficielle. Une connaissance de base de Python et des réseaux neuronaux sera utile. Rejoignez-nous pour maîtriser les architectures de transformateurs, explorer l’intelligence multimodale et acquérir les connaissances techniques approfondies nécessaires pour comprendre et faire évoluer les modèles qui façonnent l’IA moderne.