Der Kurs „Fine-Tuning Image Models with Diffusion“ richtet sich an Entwickler, Ingenieure und technische Produktentwickler, die zwar noch keine Erfahrung mit generativer KI haben, aber bereits über fortgeschrittene Kenntnisse im Bereich des maschinellen Lernens, grundlegende Python-Kenntnisse sowie Vertrautheit mit Entwicklungsumgebungen wie VS Code verfügen und offene generative KI-Lösungen entwickeln, anpassen und bereitstellen möchten, ohne dabei in eine Anbieterabhängigkeit zu geraten.

Der Kurs vermittelt den Teilnehmern praktische Erfahrungen bei der Anpassung generativer Bildmodelle an benutzerdefinierte Stile und Anwendungen. Der Kurs beginnt mit den Grundlagen von Diffusionsmodellen, erläutert Vorwärts- und Rückwärtsdiffusionsprozesse und untersucht die Schlüsselkomponenten von Stable-Diffusion-Architekturen, darunter U-Net, VAE und Text-Encoder. Anschließend wenden die Teilnehmer Low-Rank-Adaptation-Techniken (LoRA) an, um Modelle effizient auf handelsüblicher Hardware zu trainieren, und vergleichen dabei die Leistung und Kompromisse mit einer vollständigen Feinabstimmung. Im zweiten Modul implementieren die Teilnehmer DreamBooth, eine Methodik zum Training mit begrenzten Datensätzen, um Modelle mit benutzerdefinierten Konzepten und künstlerischen Stilen zu personalisieren. Die Lernenden üben die Datensatzaufbereitung, die Hyperparameter-Optimierung und das Checkpoint-Management unter Wahrung der Modellgeneralisierung. Das dritte Modul stellt ComfyUI vor, wo die Teilnehmer knotenbasierte Workflows entwerfen und ausführen, die feinabgestimmte Modelle mit fortschrittlichen Erweiterungen wie ControlNet integrieren. Und im abschließenden Modul optimieren die Teilnehmer feinabgestimmte Diffusionsmodelle für den produktiven Einsatz, indem sie die Inferenzparameter systematisch anpassen, um optimale Kompromisse zwischen Bildqualität, Generierungsgeschwindigkeit und Ressourceneffizienz zu erzielen. Am Ende des Kurses haben die Teilnehmer ein individuelles, feinabgestimmtes Diffusionsmodell erstellt, es in ComfyUI-Pipelines integriert und für die Erzeugung von Bildern in Produktionsqualität optimiert.