Der Kurs „Optimierung von Modellen für die Produktion“ richtet sich an Entwickler, Ingenieure und technische Produktentwickler, die sich noch nicht mit generativer KI auskennen, aber bereits über fortgeschrittene Kenntnisse im Bereich des maschinellen Lernens, grundlegende Python-Kenntnisse und Vertrautheit mit Entwicklungsumgebungen wie VS Code verfügen und die offene generative KI-Lösungen entwickeln, anpassen und bereitstellen möchten, ohne dabei in eine Anbieterabhängigkeit zu geraten.

Der Kurs bereitet die Teilnehmer darauf vor, generative KI-Modelle für den Einsatz in der Praxis effizienter, skalierbarer und kostengünstiger zu gestalten. Die Teilnehmer beginnen mit der Quantisierung und wenden dabei Präzisionsreduzierungen auf INT8- und INT4-Ebene unter Verwendung von Tools wie „bitsandbytes“ an, wobei sie ein Gleichgewicht zwischen Genauigkeit und Effizienz herstellen. Anschließend befassen sie sich mit Strategien zur Optimierung der Inferenz, darunter Batching, KV-Cache-Management und Berechnungsplanung auf Token-Ebene, um die Latenz in interaktiven Anwendungen zu reduzieren. Der Kurs behandelt zudem die Reduzierung des Speicherbedarfs und die adaptive Batch-Größenanpassung für dynamische Workloads. Im abschließenden Modul wenden die Teilnehmer praktische Techniken zur Hardware-Optimierung an, wie z. B. die GPU-Speicheroptimierung, Inferenz mit gemischter Genauigkeit sowie Profiling-Tools wie NVIDIA-smi und den PyTorch Profiler, um Engpässe zu identifizieren. Am Ende des Kurses sind die Teilnehmer in der Lage, optimierte Modelle in verschiedenen Hardware-Umgebungen bereitzustellen, gestützt auf Leistungsbenchmarks und reproduzierbare Bereitstellungspipelines.