Der Kurs „Deploying Open Models“ richtet sich an Entwickler, Ingenieure und technische Produktentwickler, die sich noch nicht mit generativer KI auskennen, aber bereits über fortgeschrittene Kenntnisse im Bereich des maschinellen Lernens, grundlegende Python-Kenntnisse und Erfahrung mit Entwicklungsumgebungen wie Visual Studio Code (VS Code) verfügen und die offene generative KI-Lösungen entwickeln, anpassen und bereitstellen möchten, ohne dabei in eine Anbieterabhängigkeit zu geraten.

Der Kurs vermittelt den Teilnehmern, wie sie generative KI-Modelle in realen Produktionsumgebungen verpacken, hosten und warten können. Der Kurs beginnt mit der Docker-Containerisierung, bei der die Teilnehmer optimierte Dockerfiles entwerfen, Techniken zum Abhängigkeitsmanagement anwenden und Sicherheitsmaßnahmen wie Isolation und Zugriffskontrolle umsetzen. Anschließend befassen sich die Teilnehmer mit Strategien zur Cloud-Bereitstellung und vergleichen dabei die Optionen von Amazon Web Services (AWS), Google Cloud (GCP), Microsoft Azure und Anbietern mit Spezialisierung, wobei sie auch Kosten, Leistung und Compliance-Aspekte bewerten. Zudem sammeln sie praktische Erfahrungen mit Rapid Prototyping auf Hugging Face Spaces und lernen serverlose Architekturen zur Effizienzsteigerung kennen. Im abschließenden Modul verlagert sich der Schwerpunkt auf Überwachung und Wartung. Hier implementieren die Teilnehmer Protokollierungssysteme, Leistungs-Dashboards, Alarmierungsframeworks und Verfahren zur Versionskontrolle, um einen zuverlässigen Langzeitbetrieb sicherzustellen. Am Ende des Kurses haben die Teilnehmer ein offenes Modell bereitgestellt, das über umfassende Überwachungs-, Sicherheits- und Update-Management-Funktionen verfügt.