Wussten Sie, dass sich die Laufzeit zweier Pipelines, die dieselbe Aufgabe ausführen, je nach Designentscheidungen um mehr als das Zehnfache unterscheiden kann? Benchmarking und Automatisierung sind unerlässlich für den Aufbau schneller, skalierbarer und kosteneffizienter Datensysteme.

Dieser Kurzkurs wurde entwickelt, um Dateningenieuren und Pipeline-Architekten dabei zu helfen, Datenverarbeitungssysteme durch Leistungs-Benchmarking und Automatisierungsskripte zu optimieren und so die Effizienz und Skalierbarkeit in Unternehmensumgebungen zu verbessern. Nach Abschluss dieses Kurses sind Sie in der Lage, konkurrierende Pipeline-Entwürfe anhand von Laufzeitmetriken zu vergleichen, den effizientesten Ansatz zu begründen und die Erstellung von Transformationsmodellen mithilfe konfigurationsgesteuerter Skripte zu automatisieren – Fähigkeiten, die Ihnen helfen, intelligentere, schnellere und zuverlässigere Datenpipelines aufzubauen. Am Ende dieses Kurses werden Sie in der Lage sein: konkurrierende Pipeline-Entwürfe durch den Vergleich von Laufzeitstatistiken zu bewerten, um die schnellere Option zu begründen; ein automatisiertes Skript zu erstellen, um Datentransformationsmodelle aus Konfigurationsdateien zu generieren. Dieser Kurs ist einzigartig, da er Performance Engineering mit Automatisierung verbindet und Ihnen praktische Erfahrungen beim Benchmarking realer Pipelines sowie bei der programmgesteuerten Generierung von Transformations-Workflows zur Unterstützung groß angelegter Datenoperationen vermittelt. Um dieses Projekt erfolgreich zu absolvieren, sollten Sie über folgende Voraussetzungen verfügen: Erfahrung mit SQL Kenntnisse im Bereich der Datentransformation Grundlegende Skriptkenntnisse Vertrautheit mit der Pipeline-Architektur