Sie werden fortgeschrittene Techniken anwenden, um Datenflussdiagramme in professioneller Qualität zu erstellen, die komplexe Unternehmensdatensysteme genau abbilden und die Zusammenarbeit der Beteiligten unterstützen.

Sie erwerben grundlegende Kenntnisse und Kernkompetenzen für die Erstellung modularer Datenpipeline-Stufen, wobei der Schwerpunkt auf den Prinzipien der Aufgabentrennung und den Grundlagen der Tool-Integration liegt.

Sie werden vollständige End-to-End-Datenpipelines implementieren, indem Sie modulare Komponenten mit branchenüblichen Tools integrieren, was schließlich zu einer umfassenden Bewertung Ihrer Fähigkeiten bei der Entwicklung von Datenpipelines führt.

Sie erwerben grundlegende Kenntnisse über die Architektur von Konnektoren und führen mithilfe von Airbyte Ihre erste Konfiguration eines Datenbankkonnektors durch.

Sie werden eine umfassende Datenintegration aus verschiedenen Quellen umsetzen, indem Sie Streaming- und API-Konnektoren konfigurieren, Sicherheitsmuster für Unternehmen anwenden und durch eine umfassende Konfiguration der Konnektoren Ihre Fachkompetenz unter Beweis stellen.

Sie werden die grundlegenden Konzepte der SCD2-Logik verstehen und damit beginnen, diese Prinzipien bei der Erstellung von Datenmodellen anzuwenden, die den historischen Kontext in Unternehmens-Data-Warehouses bewahren.

Sie werden mit dbt produktionsreife SCD2-Modelle implementieren und dabei automatisierte Systeme zur Nachverfolgung historischer Daten mit ordnungsgemäßer Änderungserkennung, Gültigkeitszeiträumen und Verwaltung des aktuellen Status erstellen.

Sie werden die grundlegenden Konzepte und Entwurfsprinzipien für die Erstellung robuster Daten-Workflows mit Apache Airflow verstehen.

Sie werden Airflow-Workflows auf Produktionsniveau mit Wiederholungsmechanismen, SLA-Überwachung und Parametrisierung implementieren, um eine für Unternehmen geeignete Ausfallsicherheit der Datenpipeline zu gewährleisten.

Sie werden Ihre Kenntnisse im Bereich Data Engineering einsetzen, um eine vollständig automatisierte Datenpipeline aufzubauen, die verschiedene Datenquellen verarbeitet, historische Nachverfolgung ermöglicht und Arbeitsabläufe koordiniert. Dieses Projekt vereint Funktionen zur Zuordnung, Transformation, Integration, Modellierung und Automatisierung zu einem produktionsreifen Datensystem.