Modul 2 führt die Studierenden in die Herausforderungen beim Aufbau und der Verwaltung verteilter Systeme für die Speicherung und Verarbeitung von Big Data ein. Es behandelt die Ursprünge, Konzepte, Kernkomponenten und wesentlichen Merkmale von Hadoop und befasst sich dabei mit den Tools und Diensten des Hadoop-Ökosystems. Die Studierenden erwerben Kenntnisse über verteilte Dateisysteme, insbesondere HDFS, das Ressourcenmanagement von YARN sowie verschiedene Technologien für die effektive Speicherung und Organisation von Big Data.

In Modul 3 setzen sich die Studierenden mit den Unterschieden bei der Verarbeitung kleiner bis mittlerer gegenüber riesigen Datenmengen mittels verteilter Datenverarbeitung auseinander. Dieses Modul behandelt die Schlüsselkonzepte des MapReduce-Frameworks, darunter auch, wie es große Datenverarbeitungsaufgaben in kleinere, parallel ablaufende Aufgaben aufteilt, um eine effiziente Ausführung zu gewährleisten. Die Studierenden lernen außerdem die Phasen von MapReduce, die Rolle von Map- und Reduce-Funktionen, Optimierungsmuster sowie die Vorteile und Einschränkungen verschiedener Entwicklungsansätze kennen, darunter Java-basiertes MapReduce und Hadoop Streaming.

In Modul 4 befassen sich die Studierenden mit Apache Spark als leistungsstarkem Framework für die verteilte Datenverarbeitung, das sich für interaktive, Batch- und Streaming-Aufgaben eignet. Dieses Modul behandelt die Kernfunktionen von Spark, darunter maschinelles Lernen, Graphverarbeitung sowie die Verarbeitung strukturierter und unstrukturierter Daten, und hebt dabei insbesondere das Potenzial der In-Memory-Verarbeitung sowie den einheitlichen Charakter des Frameworks hervor. Die Teilnehmer vergleichen Spark mit MapReduce, lernen die Hauptkomponenten von Spark, die Ausführungsarchitektur, Resilient Distributed Datasets (RDDs), DataFrames, Datasets sowie die verschiedenen Methoden zur Erstellung und Optimierung von DataFrames für eine effiziente Datenverarbeitung kennen.

In Modul 5 beschäftigen sich die Teilnehmer eingehender mit den Möglichkeiten von Spark zur Datenbearbeitung und -transformation. Das Modul behandelt grundlegende Operationen wie das Auswählen, Filtern und Sortieren von Daten sowie das Verknüpfen von DataFrames und das Durchführen von Aggregationen. Die Teilnehmer lernen außerdem den Umgang mit Nullwerten, die Verwendung von Spark SQL für Datenabfragen und die Leistungsoptimierung durch Caching. Zu den praktischen Anwendungen gehören das Erstellen und Bearbeiten von DataFrames, das Ausführen von Transformationen und Aktionen sowie das effiziente Schreiben von Daten in verschiedene Formate.

Modul 6 führt die Studierenden in die Grenzen der Batch-Verarbeitung und die Bedeutung der Echtzeit-Datenverarbeitung ein. Es behandelt wesentliche Aspekte der Stream-Verarbeitung, einschließlich Datenerfassung und -analyse, wobei der Schwerpunkt auf Tools wie Apache Kafka für die Stream-Erfassung und Spark Structured Streaming für eine skalierbare und fehlertolerante Datenverarbeitung liegt. Die Studierenden befassen sich außerdem mit verschiedenen Entwurfsmustern zur Organisation von Big-Data-Clustern, dem Konzept der Data Lakes sowie der Lambda-Architektur zur Vereinheitlichung der Echtzeit- und Batch-Datenverarbeitung in modernen Datenumgebungen.

In Modul 7 setzen sich die Studierenden mit den Vorteilen und Grenzen relationaler Datenbanken im Big-Data-Kontext sowie mit dem Konzept verteilter Datenbanksysteme auseinander. Dieses Modul behandelt NoSQL-Datenbanken, ihre vielfältigen Datenmodelle sowie ihre Vorteile hinsichtlich Skalierbarkeit und Flexibilität. Die Studierenden lernen außerdem praktische Anwendungsfälle, Datenpartitionierung, Konsistenzmodelle und das CAP-Theorem kennen und erwerben so ein umfassendes Verständnis dafür, wie NoSQL-Datenbanken große Datensätze über Cluster hinweg verwalten und dabei Skalierbarkeit und Verfügbarkeit gewährleisten.

In Modul 8 befassen sich die Studierenden mit bestimmten NoSQL-Datenbanktypen – nämlich Schlüssel-Wert-, Wide-Column- und Dokumentendatenbanken. Zwei ähnliche Systeme, HBase und Cassandra, werden im Kontext des CAP-Theorems und der damit verbundenen CP/AP-Abwägungen untersucht und gegenübergestellt. Themen wie Konsistenz und Verfügbarkeit werden im Zusammenhang mit konkreten Anwendungsszenarien für HBase und Cassandra erörtert – dabei werden die allgemeinen Anwendungsbereiche beider Systeme hervorgehoben. Abschließend wird die Dokumentendatenbank MongoDB im Zusammenhang mit Anwendungsfällen der Verarbeitung natürlicher Sprache bzw. von Text betrachtet – und die Nutzung sowie die Architektur von MongoDB im Vergleich zu herkömmlichen RDBMS analysiert.

Dieses Modul enthält die abschließende Kursbeurteilung, mit der Ihr Verständnis des Kursmaterials und Ihre Fähigkeit, das im Kurs erworbene Wissen anzuwenden, beurteilt werden sollen.