Sie werden Kennzahlen zur Datenqualität auswerten und den Datenverarbeitungsweg dokumentieren, um Transparenz und Zuverlässigkeit zu gewährleisten.

Sie wenden Techniken zur Imputation, Kennzeichnung und Validierung fehlender oder Nullwerte an, um konsistente, modellfähige Datensätze zu erstellen.

Sie werden ETL- und ELT-Pipelines einsetzen, um Daten aus verschiedenen Quellen mithilfe strukturierter Transformations-Workflows in einen Feature Store zu importieren.

Sie analysieren Schemaänderungen in vorgelagerten Systemen und implementieren Sicherheitsmaßnahmen, um die Ausfallsicherheit der Datenpipeline und die Kompatibilität mit nachgelagerten Systemen zu gewährleisten.

Sie werden die Aktualität der Daten, Verzögerungen und die Erfolgsraten der Datenpipeline anhand der Service Level Agreements bewerten, um die Betriebssicherheit zu beurteilen.

Sie werden Verzweigungsstrategien der Versionskontrolle anwenden, um Code, Experimente und Projektartefakte effektiv zu verwalten.

Sie werden Tools für virtuelle Umgebungen einsetzen, um reproduzierbare Projektumgebungen mit stabilen Abhängigkeiten zu konfigurieren.

Sie analysieren die Ressourcenauslastung in Bezug auf CPU, GPU und Speicher, um die Rechenkosten während der Experimentierphase zu optimieren.

In diesem Projekt entwerfen und implementieren Sie eine produktionsreife Machine-Learning-Datenpipeline für ein Risikomodellierungsszenario im Finanzdienstleistungsbereich. Der Rohdatensatz enthält fehlende Werte, inkonsistente kategoriale Einträge, potenzielle Ausreißer und simulierte Schema-Drifts. Ihre Aufgabe besteht darin, diesen Datensatz in einen validierten, modellbereiten Feature-Store umzuwandeln. Sie bereinigen und verarbeiten strukturierte tabellarische Daten, wählen Kodierungsstrategien basierend auf der Kardinalität der Merkmale aus, implementieren eine Datenvalidierung mit Great Expectations, erkennen Schemaänderungen zwischen den Pipeline-Läufen, generieren SLA-Metriken zur Bewertung der Zuverlässigkeit und speichern die verarbeiteten Merkmale im Parquet-Format. Über die CORE-Pipeline hinaus wenden Sie zudem professionelle Entwicklungspraktiken an, die in produktiven ML-Teams Standard sind: Einrichten einer virtuellen Umgebung zur Reproduzierbarkeit, Verwendung von Verzweigungsstrategien in der Versionskontrolle zur Verwaltung Ihrer Arbeit sowie Analyse der Ressourcenauslastung, um die Rechenkosten zu verstehen. Ihr Endergebnis ist ein modulares Python-Skript sowie eine strukturierte schriftliche technische Erläuterung, die Ihre Fähigkeit unter Beweis stellt, eine zuverlässige, produktionsgerechte ML-Dateninfrastruktur zu entwerfen.