Les données en temps réel sont omniprésentes : de la détection des fraudes dans les transactions financières aux recommandations personnalisées dans le commerce électronique, en passant par la détection des anomalies dans les appareils connectés. Le traitement par lots traditionnel est trop lent pour ces cas d’utilisation, et les entreprises ont besoin d’informations dès que les données sont générées. Cette formation vous apprend à concevoir, développer et exploiter des pipelines de streaming fiables à l’aide d’Apache Spark Structured Streaming et de Kafka.

Dans cette formation, vous commencerez par découvrir les principes fondamentaux du modèle de streaming de Spark, en apprenant comment le micro-batching, les déclencheurs et les points de contrôle permettent un traitement continu. Vous connecterez ensuite Spark à des sources réelles telles que Kafka, appliquerez le traitement en temps réel à l’aide de watermarks et transmettrez les résultats à Delta Lake. Enfin, vous mettrez les pipelines en production en enrichissant les flux avec des données statiques, en surveillant l’état des requêtes, en gérant les défaillances et en garantissant l’évolutivité. Cette formation vous initie au traitement des données en temps réel à l’aide d’Apache Spark Streaming. Vous apprendrez à gérer des flux de données continus, à concevoir des pipelines de flux tolérants aux pannes et à analyser efficacement les données en direct. À l’issue de cette formation, vous comprendrez comment Spark gère les charges de travail de streaming, s’intègre à diverses sources de données et facilite la prise de décision dans des applications concrètes. Les apprenants doivent posséder des connaissances de base en programmation Python et en DataFrames Spark, ainsi qu’une bonne maîtrise de JSON et de SQL. À l’issue de cette formation, vous disposerez des compétences nécessaires pour mettre en œuvre en toute confiance des solutions de streaming qui facilitent la prise de décision en temps réel au sein des organisations modernes axées sur les données.