Echtzeitdaten sind allgegenwärtig – von der Betrugserkennung bei Finanztransaktionen über personalisierte Empfehlungen im E-Commerce bis hin zur Erkennung von Anomalien bei IoT-Geräten. Die herkömmliche Batch-Verarbeitung ist für diese Anwendungsfälle zu langsam, und Unternehmen benötigen Erkenntnisse in dem Moment, in dem die Daten generiert werden. In diesem Kurs lernen Sie, wie Sie mithilfe von Apache Spark Structured Streaming und Kafka zuverlässige Streaming-Pipelines entwerfen, erstellen und betreiben.

In diesem Kurs beginnen Sie mit den Grundlagen des Streaming-Modells von Spark und lernen, wie Micro-Batching, Trigger und Checkpoints eine kontinuierliche Verarbeitung ermöglichen. Anschließend verbinden Sie Spark mit realen Datenquellen wie Kafka, wenden die ereigniszeitbasierte Verarbeitung mit Watermarks an und liefern Ergebnisse an Delta Lake. Schließlich führen Sie die Pipelines in die Produktion ein, indem Sie Streams mit statischen Daten anreichern, den Zustand von Abfragen überwachen, Fehler behandeln und die Skalierbarkeit sicherstellen. Dieser Kurs führt Sie in die Echtzeit-Datenverarbeitung mit Apache Spark Streaming ein. Sie lernen, wie Sie kontinuierliche Datenströme verarbeiten, fehlertolerante Stream-Pipelines entwerfen und Live-Daten effizient analysieren. Am Ende werden Sie verstehen, wie Spark Streaming-Workloads verarbeitet, sich in verschiedene Datenquellen integriert und die Entscheidungsfindung in realen Anwendungen unterstützt. Die Teilnehmer sollten über Grundkenntnisse in der Python-Programmierung und in Spark DataFrames verfügen sowie mit JSON und SQL vertraut sein. Am Ende des Kurses verfügen Sie über die Fähigkeiten, Streaming-Lösungen sicher zu implementieren, die die Entscheidungsfindung in Echtzeit in modernen, datengesteuerten Unternehmen unterstützen.