Maîtrisez les architectures avancées d’apprentissage profond et les techniques d’entraînement efficaces à l’aide de PyTorch Lightning, timm, ConvNeXt, Vision Transformers, RoPE, SwiGLU, RMSNorm et Weights & Biases. Ce cours vous permettra de concevoir, d’entraîner et d’évaluer des architectures de base modernes sur du matériel GPU limité, en vue d’une utilisation en production dans le monde réel.

Le module 1 présente les architectures de base modernes, en retraçant leur évolution depuis les ResNets jusqu’aux ConvNeXt et Vision Transformers, et aborde les embeddings de patches, l’auto-attention multi-têtes et les encodages de position. Le module 2 se penche sur la dynamique d’entraînement et les techniques de stabilisation, notamment RMSNorm, les activations SwiGLU et les Rotary Position Embeddings (RoPE), pour un entraînement stable et évolutif. Le module 3 se concentre sur l’entraînement efficace sur des GPU limités à l’aide de la précision mixte (FP16/BF16), de l’accumulation de gradients, de pipelines de données efficaces et de l’entraînement distribué avec DDP/FSDP dans Lightning. Le module 4 aborde le suivi des expériences avec TensorBoard et W&B, le profilage des FLOP et du débit, ainsi qu’un projet pratique comparatif ViT vs CNN avec réglage fin dans timm. À l’issue de ce cours, vous serez en mesure de : - Construire et affiner des architectures de base ConvNeXt et Vision Transformer à l’aide de PyTorch Lightning et de timm - Appliquer RMSNorm, SwiGLU et RoPE pour stabiliser et faire évoluer l’entraînement des transformateurs profonds - Mettre en œuvre la précision mixte, l’accumulation de gradients et DDP/FSDP pour un entraînement multi-GPU efficace - Concevoir des expériences contrôlées comparant CNN et ViT avec suivi W&B et profilage PyTorch Avertissement : Il s’agit d’une ressource pédagogique indépendante créée par Board Infinity à des fins d’information et d’enseignement uniquement. Sauf mention contraire explicite, ce cours n’est ni affilié à, ni approuvé par, ni sponsorisé par, ni officiellement associé à aucune entreprise, organisation ou organisme de certification. Le contenu fourni s’appuie sur les connaissances du secteur et les meilleures pratiques, mais ne constitue pas un support de formation officiel pour un employeur ou un programme de certification spécifique. Tous les noms d’entreprises, marques déposées, marques de service et logos mentionnés sont la propriété de leurs détenteurs respectifs et sont utilisés uniquement à des fins d’identification et de comparaison à caractère pédagogique.