In diesem Abschnitt befassen wir uns mit Techniken zur Beschleunigung des Modelltrainings durch Anpassung des Software-Stacks und Skalierung der Ressourcen. Zu den wichtigsten Konzepten zählen vertikale und horizontale Skalierung, Optimierungen auf Anwendungs- und Umgebungsebene sowie praktische Strategien zur Effizienzsteigerung.

In diesem Abschnitt befassen wir uns mit der PyTorch 2.0 Compile-API zur Beschleunigung des Trainings von Deep-Learning-Modellen und konzentrieren uns dabei auf die Vorteile des Graph-Modus, die Nutzung der API sowie die Komponenten des Workflows zur Leistungsoptimierung.

In diesem Abschnitt befassen wir uns mit dem Einsatz von OpenMP für Multithreading und IPEX zur Optimierung von PyTorch auf Intel-CPUs, um die Leistung durch Spezialisierung der Bibliotheken zu steigern.

In diesem Abschnitt befassen wir uns mit der Erstellung effizienter Datenpipelines, um Engpässe beim Training zu vermeiden. Zu den wichtigsten Konzepten gehören die Konfiguration von Workern, die Optimierung der GPU-Speicherübertragung und die Sicherstellung eines kontinuierlichen Datenflusses für das Training von ML-Modellen.

In diesem Abschnitt befassen wir uns mit der Modellvereinfachung durch Pruning- und Komprimierungstechniken, um die Effizienz zu steigern, ohne dabei Leistungseinbußen in Kauf zu nehmen. Für die praktische Umsetzung nutzen wir das Microsoft NNI-Toolkit.

In diesem Abschnitt untersuchen wir Strategien zur gemischten Genauigkeit, mit denen sich die Effizienz des Modelltrainings durch eine Reduzierung des Rechen- und Speicherbedarfs optimieren lässt, ohne dabei Abstriche bei der Genauigkeit zu machen. Dabei konzentrieren wir uns auf die Implementierung in PyTorch und die Hardwareauslastung.

In diesem Abschnitt befassen wir uns mit den Prinzipien des verteilten Trainings, parallelen Strategien und der PyTorch-Implementierung, um die Effizienz des Modelltrainings durch Ressourcenverteilung zu steigern.

In diesem Abschnitt befassen wir uns mit dem verteilten Training auf mehreren CPUs und konzentrieren uns dabei auf die Vorteile, die Umsetzung sowie den Einsatz von Intel oneCCL für eine effiziente Kommunikation in Umgebungen mit begrenzten Ressourcen.

In diesem Abschnitt befassen wir uns mit Trainingsstrategien für mehrere GPUs, analysieren Verbindungstopologien und konfigurieren NCCL für effiziente verteilte Deep-Learning-Operationen.

In diesem Abschnitt befassen wir uns mit dem verteilten Training auf Rechenclustern und konzentrieren uns dabei auf Open MPI und NCCL für eine effiziente Kommunikation und Ressourcenverwaltung über mehrere Rechner hinweg.