In diesem Modul werden wir uns mit grundlegenden Modellen der natürlichen Sprachverarbeitung (NLP) befassen und dabei den Schwerpunkt auf Sprachmodelle, Feedforward-Neuronale Netze (FFNNs) und Hidden-Markov-Modelle (HMMs) legen. Sprachmodelle spielen eine entscheidende Rolle bei der Vorhersage und Generierung von Textsequenzen, indem sie Wörtern oder Phrasen innerhalb eines Satzes Wahrscheinlichkeiten zuweisen, was Anwendungen wie die automatische Vervollständigung und die Textgenerierung ermöglicht. FFNNs sind zwar auf Kontexte fester Größe beschränkt, stellen jedoch grundlegende neuronale Architekturen für die Sprachmodellierung dar, die komplexe Wortbeziehungen durch nichtlineare Transformationen erlernen. Im Gegensatz dazu modellieren HMMs Sequenzen auf der Grundlage verborgener Zustände, die beobachtbare Ergebnisse beeinflussen. Sie sind besonders nützlich bei Aufgaben wie der Part-of-Speech-Tagging und der Spracherkennung. Im weiteren Verlauf des Moduls werden wir uns auch mit modernen Entwicklungen wie dem neuronalen, überübergänge basierten Parsing sowie der Weiterentwicklung von Sprachmodellen zu ausgefeilten Architekturen wie Transformern und groß angelegten, vortrainierten Modellen wie BERT und GPT befassen. Dieses Modul bietet einen umfassenden Überblick darüber, wie sich die Sprachmodellierung von statistischen Methoden hin zu modernsten neuronalen Architekturen entwickelt hat.

In diesem Modul werden wir uns mit rekurrenten neuronalen Netzen (RNNs) befassen, einer grundlegenden Architektur im Deep Learning, die für sequenzielle Daten konzipiert ist. RNNs eignen sich besonders gut für Aufgaben, bei denen die Reihenfolge der Eingaben eine Rolle spielt, wie beispielsweise Zeitreihenprognosen, Sprachmodellierung und Spracherkennung. Im Gegensatz zu herkömmlichen neuronalen Netzen verfügen RNNs über Verbindungen, die es ihnen ermöglichen, Informationen aus früheren Schritten zu „speichern“, indem sie Parameter über Zeitschritte hinweg gemeinsam nutzen. Diese Fähigkeit ermöglicht es ihnen, zeitliche Abhängigkeiten in Daten zu erfassen, was sie zu leistungsstarken Werkzeugen für sequenzbasierte Aufgaben macht. Allerdings bringen RNNs Herausforderungen wie „vanishing“ und „exploding“ Gradienten mit sich, die ihre Fähigkeit beeinträchtigen, langfristige Abhängigkeiten zu lernen. Im Laufe des Moduls werden Sie verschiedene RNN-Varianten wie Long Short-Term Memory (LSTM) und Gated Recurrent Units (GRUs) kennenlernen, die diese Herausforderungen angehen. Außerdem werden Sie sich mit fortgeschrittenen Trainingstechniken und Anwendungen von RNNs bei realen NLP- und Zeitreihenproblemen befassen.

Dieses Modul führt die Studierenden in fortgeschrittene Techniken der Natürlichen Sprachverarbeitung (NLP) ein und konzentriert sich dabei auf grundlegende Aufgaben wie die Part-of-Speech-Tagging (PoS), die Sentimentanalyse und die Sequenzmodellierung mit rekurrenten neuronalen Netzen (RNNs). Die Studierenden untersuchen, wie die PoS-Tagging-Methode zum Verständnis grammatikalischer Strukturen beiträgt und damit Anwendungen wie maschinelle Übersetzung und die Erkennung benannter Entitäten (NER) ermöglicht. Das Modul befasst sich eingehend mit der Sentimentanalyse und beleuchtet dabei verschiedene Ansätze, von traditionellen Modellen des maschinellen Lernens (z. B. Naive-Bayes-Modelle) bis hin zu fortgeschrittenen Deep-Learning-Techniken (z. B. bidirektionale RNNs und Transformer). Die Studierenden lernen, sowohl vorwärts- als auch rückwärtsgerichtetes Kontextverständnis mithilfe bidirektionaler RNNs zu implementieren, was die Genauigkeit bei Aufgaben verbessert, bei denen die Reihenfolge der Sequenzen die Bedeutung beeinflusst. Am Ende des Kurses verfügen die Studierenden über praktische Erfahrung in der Erstellung von NLP-Modellen für reale Anwendungen und sind damit in der Lage, sequenzielle Daten zu verarbeiten und komplexe Abhängigkeiten bei der Textanalyse zu erfassen.

Dieses Modul führt Sie in die Kernaufgaben und fortgeschrittenen Techniken der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ein, wobei der Schwerpunkt auf strukturierter Vorhersage, maschineller Übersetzung und Sequenzkennzeichnung liegt. Sie werden grundlegende Themen wie die Erkennung benannter Entitäten (Named Entity Recognition, NER), die Part-of-Speech-Tagging (PoS) und die Sentimentanalyse untersuchen und neuronale Netzwerkarchitekturen wie rekurrente neuronale Netze (RNNs), Long-Short-Term-Memory-Netze (LSTM) und bedingte Zufallsfelder (CRFs). Das Modul behandelt Schlüsselkonzepte der Sequenzmodellierung, wie bidirektionale und mehrschichtige RNNs, die sowohl den vergangenen als auch den zukünftigen Kontext erfassen, um die Genauigkeit von Aufgaben wie NER und PoS-Tagging zu verbessern. Darüber hinaus werden Sie sich eingehend mit der neuronalen maschinellen Übersetzung (NMT) befassen und Encoder-Decoder-Modelle mit Aufmerksamkeitsmechanismen untersuchen, um Herausforderungen bei der Übersetzung langer Sequenzen zu bewältigen. Praktische Umsetzungen umfassen die Integration dieser Modelle in reale Anwendungen, wobei der Schwerpunkt auf dem Umgang mit komplexen Sprachstrukturen, seltenen Wörtern und sequenziellen Abhängigkeiten liegt. Am Ende dieses Moduls werden Sie in der Lage sein, Deep-Learning-Modelle für eine Vielzahl von NLP-Aufgaben zu erstellen und zu optimieren.

In diesem Modul konzentrieren wir uns auf Aufmerksamkeitsmechanismen und untersuchen die Entwicklung und Bedeutung der Aufmerksamkeit in neuronalen Netzen, beginnend mit ihrer Einführung in der neuronalen maschinellen Übersetzung. Wir werden die Herausforderungen traditioneller Sequenz-zu-Sequenz-Modelle behandeln und erläutern, wie Aufmerksamkeitsmechanismen – insbesondere in Transformer-Architekturen – Probleme wie weitreichende Abhängigkeiten und Parallelisierung lösen, wodurch die Fähigkeit des Modells verbessert wird, sich dynamisch auf relevante Teile der Eingabesequenz zu konzentrieren. Anschließend wenden wir uns den Transformern zu und beschäftigen uns eingehend mit der revolutionären Architektur, die 2017 von Vaswani et al. vorgestellt wurde und die die Verarbeitung natürlicher Sprache erheblich vorangebracht hat. Wir werden die CORE-Komponenten von Transformern behandeln, darunter Self-Attention, Multi-Head-Attention und Positional Encoding, um zu erläutern, wie diese Innovationen die Einschränkungen traditioneller Sequenzmodelle überwinden und eine effiziente parallele Verarbeitung sowie den Umgang mit weitreichenden Abhängigkeiten im Text ermöglichen.

In diesem Modul werden wir uns eingehend mit dem Vortraining befassen und dessen grundlegende Rolle in modernen NLP-Modellen untersuchen. Dabei werden wir hervorheben, wie Modelle zunächst anhand großer, allgemeiner Datensätze trainiert werden, um Sprachstrukturen und Semantik zu erlernen. Diese Vortrainingsphase, die häufig Aufgaben wie das „Masked Language Modeling“ umfasst, stattet die Modelle mit umfassendem sprachlichem Wissen aus, das anschließend für bestimmte Aufgaben feinabgestimmt werden kann, wodurch die Leistung verbessert und der Bedarf an umfangreichen aufgabenspezifischen Daten verringert wird.