Construire un pipeline de données est facile. Construire un pipeline qui récupère automatiquement les défaillances, maintient l'intégrité des données pendant les pannes et fonctionne de manière fiable en production, c'est ce qui sépare les ingénieurs débutants des architectes de plateforme. Ce cours vous apprend à concevoir des pipelines auto-réparateurs avec une récupération automatisée, une tolérance aux pannes et une reprise après sinistre intégrées dès le premier jour. Vous apprendrez à construire et à planifier des flux de travail en continu à l'aide d'orchestrateurs modernes comme Airflow et Prefect, à mettre en œuvre des modèles de fiabilité, notamment l'idempotence, le point de contrôle et les files d'attente de lettres mortes pour un traitement exactement unique, et à concevoir des stratégies de récupération multirégionales qui maintiennent le flux de données en cas de défaillance régionale. Grâce à des laboratoires pratiques et à des exemples réels d'Airbnb, LinkedIn, Netflix et Uber, vous maîtriserez les techniques d'orchestration et de récupération qui transforment des scripts fragiles en une infrastructure de niveau de production. Apprenez à gérer les tentatives automatisées, à exécuter des remplissages sécurisés, à mettre en œuvre une récupération basée sur des points de contrôle et à exécuter des playbooks de reprise après sinistre qui restaurent les pipelines après les pannes. Ingénieurs qui construisent ou maintiennent des pipelines de données en temps réel et qui ont besoin de compétences plus solides en matière d'orchestration, de fiabilité et de récupération. Notions de base de Python et SQL, Linux CLI et principes fondamentaux de Kafka. A la fin du cours, les apprenants seront capables de concevoir, d'orchestrer et de restaurer des pipelines de données en temps réel qui fonctionnent de manière fiable à l'échelle de la production.