Stellen Sie sich vor, Sie könnten Schemaänderungen souverän bereitstellen – in der Gewissheit, dass Ihre Pipeline diese problemlos verarbeitet, die Verbraucher einwandfrei funktionieren und Ihre Daten konsistent bleiben. Das ist der Unterschied zwischen der Hoffnung, dass Ihre CDC-Pipeline funktioniert, und der Gewissheit, dass sie es tut. In diesem Kurs lernen Sie, wie Sie eine funktionsfähige, herstellerneutrale CDC-Pipeline und eine einzige, einheitliche Tabelle aus sich weiterentwickelnden Quellschemata aufbauen. Ausgehend von Debezium, das Änderungen aus Postgres/MySQL in Kafka streamt, nutzen Sie die Schema Registry, um die Kompatibilität sicherzustellen, und wenden anschließend Streaming-SQL in Flink (oder ksqlDB) an, um abweichende Felder abzubilden, zu konvertieren und zu einem kanonischen Modell zusammenzuführen. Abschließend speichern Sie die Ergebnisse in einer Apache-Iceberg-Tabelle und fragen diese sofort mit Trino ab. Dabei lernen Sie praktische Strategien kennen, um Schema-Drift zu bewältigen, Kompatibilitätsmodi (rückwärtskompatibel/vollständig) auszuwählen und Störungen bei nachgelagerten Verbrauchern zu vermeiden. Alles läuft lokal mit Docker, sodass Sie die Inhalte überall reproduzieren und die gleichen Muster später auf Ihren Cloud-Stack übertragen können.

Dieser Kurs richtet sich an Entwickler, die mit Kafka, Debezium und Streaming-SQL arbeiten und Kenntnisse in den Bereichen zuverlässige Schemaentwicklung und kanonische Modellierung benötigen. Die Teilnehmer sollten über Grundkenntnisse in SQL und Docker verfügen und mit Kafka oder Streaming-Konzepten vertraut sein. Am Ende des Kurses sind Sie in der Lage, eine kleine End-to-End-CDC-Pipeline zu implementieren, die Daten aus einer Quelldatenbank streamt und sich weiterentwickelnde Schemata in einer einzigen abfragbaren Tabelle zusammenführt.