Vous appliquerez des techniques avancées pour créer des diagrammes de flux de données de qualité professionnelle qui représentent avec précision les systèmes de données complexes de l'entreprise et soutiennent la collaboration des parties prenantes.

Vous établirez la compréhension fondamentale et les compétences de base pour créer des étapes modulaires de pipeline de données, en vous concentrant sur les principes de séparation des préoccupations et les fondamentaux de l'intégration des outils.

Vous mettrez en œuvre des pipelines de données complets de bout en bout en intégrant des composants modulaires avec des outils standard de l'industrie, ce qui aboutira à une évaluation complète de leurs capacités de développement de pipelines.

Vous établirez les connaissances de base de l'architecture des connecteurs et réaliserez leur première configuration de connecteur de base de données à l'aide d'Airbyte.

Vous mettrez en œuvre une intégration complète de données multi-sources en configurant des connecteurs de streaming et d'API, en appliquant des modèles de sécurité d'entreprise et en démontrant votre maîtrise par une configuration complète des connecteurs.

Vous comprendrez les concepts fondamentaux de la logique SCD2 et commencerez à appliquer ces principes pour créer des modèles de données qui préservent le contexte historique dans les entrepôts de données des entreprises.

Vous mettrez en œuvre des modèles SCD2 prêts pour la production en utilisant dbt, en créant des systèmes automatisés de suivi historique avec une détection appropriée des changements, des périodes de validité et une gestion de l'état actuel.

Vous comprendrez les concepts fondamentaux et les principes de conception pour créer des flux de données robustes avec Apache Airflow.

Vous mettrez en œuvre des flux de travail Airflow de niveau production avec des mécanismes de réessai, une surveillance des accords de niveau de service et une paramétrisation pour une résilience des pipelines de données prête à l'emploi.

Vous intégrerez des compétences en ingénierie des données pour construire un pipeline de données automatisé complet qui traite diverses sources de données, applique un suivi historique et orchestre des flux de travail. Ce projet synthétise les capacités de cartographie, de transformation, d'intégration, de modélisation et d'automatisation dans un système de données prêt à la production.