Saviez-vous que la durée d'exécution de deux pipelines effectuant la même tâche peut varier de plus de 10 fois en fonction des choix de conception ? L'analyse comparative et l'automatisation sont essentielles pour construire des systèmes de données rapides, évolutifs et rentables. Ce cours abrégé a été créé pour aider les ingénieurs de données et les architectes de pipeline à optimiser les systèmes de traitement des données grâce à l'analyse comparative des performances et aux scripts d'automatisation afin d'améliorer l'efficacité et l'évolutivité dans les environnements d'entreprise. À l'issue de ce cours, vous serez en mesure de comparer des conceptions de pipeline concurrentes en utilisant des statistiques de temps d'exécution, de justifier l'approche la plus efficace et d'automatiser la création de modèles de transformation à l'aide de scripts axés sur la configuration - des compétences qui vous aideront à construire des pipelines de données plus intelligents, plus rapides et plus fiables.

À la fin de ce cours, vous serez en mesure : d'évaluer des conceptions de pipeline concurrentes en comparant les statistiques d'exécution pour justifier l'option la plus rapide ; de créer un script automatisé pour générer des modèles de transformation de données à partir de fichiers de configuration. Ce cours est unique car il associe l'ingénierie des performances à l'automatisation, en vous donnant une expérience pratique de l'évaluation comparative de pipelines réels et de la génération programmatique de workflows de transformation pour prendre en charge des opérations de données à grande échelle. Pour réussir ce projet, vous devez avoir : une expérience du langage SQL des connaissances en matière de transformation de données des compétences de base en matière de scripts une bonne connaissance de l'architecture des pipelines