Dieses Modul konzentriert sich auf Optimierungstechniken, die für das maschinelle Lernen von entscheidender Bedeutung sind, insbesondere bei Aufgaben der natürlichen Sprachverarbeitung (NLP). Es führt in den Gradientenabstieg (GD) ein, einen grundlegenden Algorithmus, der zur Minimierung von Kostenfunktionen durch iterative Anpassung der Modellparameter verwendet wird. Sie werden Varianten wie den stochastischen Gradientenabstieg (SGD) und den Mini-Batch-Gradientenabstieg untersuchen, um mehr über deren Effizienz beim Umgang mit großen Datensätzen zu erfahren. Fortgeschrittene Methoden wie Momentum und Adam werden behandelt, um Ihnen Einblicke zu vermitteln, wie sich die Konvergenzgeschwindigkeit durch Glättung der Aktualisierungen und Anpassung der Lernraten verbessern lässt. Das Modul behandelt außerdem Techniken zweiter Ordnung wie die Newton-Methode und Quasi-Newton-Verfahren (z. B. BFGS), die Krümmungsinformationen für eine direktere Optimierung nutzen, allerdings mit höheren Rechenaufwänden verbunden sind. Insgesamt legt dieses Modul den Schwerpunkt auf die Abwägung von Effizienz, Genauigkeit und rechnerischer Machbarkeit bei der Optimierung von Modellen des maschinellen Lernens.

Dieses Modul befasst sich mit der Erkennung benannter Entitäten (Named Entity Recognition, NER), einer CORE-Aufgabe der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), bei der Entitäten wie Personen, Orte und Organisationen in Texten identifiziert und klassifiziert werden. Zunächst untersuchen wir, wie logistische Regression genutzt werden kann, um NER als binäres Klassifikationsproblem zu modellieren, wobei dieser Ansatz jedoch Einschränkungen hinsichtlich Komplexität und Kontexterfassung aufweist. Anschließend wenden wir uns fortgeschritteneren Techniken zu, wie beispielsweise neuronalen Netzen, die sich besonders gut für die Verarbeitung komplexer Muster und großer Datenmengen eignen – Bereiche, in denen traditionelle Modelle Schwierigkeiten haben. Die Fähigkeit neuronaler Netze, hierarchische Merkmale zu lernen, macht sie ideal für NER-Aufgaben, da sie Kontextinformationen effektiver erfassen können als einfachere Modelle. Im Verlauf des Moduls vergleichen wir diese Methoden und zeigen auf, wie Deep-Learning-Ansätze wie rekurrente neuronale Netze (RNNs) und Transformer wie BERT die Genauigkeit und Skalierbarkeit von NER verbessern.

Die Modelle Word2Vec und GloVe sind beliebte Wort-Embedding-Verfahren in der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), die jeweils einzigartige Vorteile bieten. Word2Vec, entwickelt von Google, arbeitet mit zwei Schlüsselmodellen: Continuous Bag of Words (CBOW) und Skip-Gram, wobei der Schwerpunkt auf der Vorhersage eines Wortes anhand seines Kontexts oder umgekehrt liegt (Word2Vec). Das von der Stanford University entwickelte GloVe-Modell hingegen kombiniert zählbasierte und prädiktive Ansätze, indem es Wort-Ko-Okkurrenz-Matrizen nutzt, um Wortvektoren zu lernen (GloVe). Beide Modelle stellen Wörter in einem hochdimensionalen Vektorraum dar und erfassen semantische Beziehungen. Word2Vec konzentriert sich auf lokale Kontexte und lernt effizient aus großen Datensätzen, während GloVe globale Muster der Wortko-Okkurrenz über das gesamte Korpus hinweg betont und so tiefere Wortassoziationen aufdeckt. Diese Einbettungen ermöglichen Aufgaben wie das Lösen von Analogien, die Ermittlung semantischer Ähnlichkeiten und andere linguistische Berechnungen, wodurch sie zu einem zentralen Bestandteil moderner NLP-Anwendungen werden.

Dieses Modul befasst sich eingehend mit den Bewertungstechniken für Modelle der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) und konzentriert sich dabei sowohl auf intrinsische als auch auf extrinsische Bewertungsmethoden. Bei der intrinsischen Bewertung wird die Leistung des Modells anhand interner Kriterien wie der Qualität der Wort-Embeddings, der Genauigkeit der Syntaxanalyse und der Perplexität des Sprachmodells beurteilt. Im Gegensatz dazu misst die extrinsische Bewertung die Effektivität des Modells in realen Anwendungen, darunter Aufgaben wie maschinelle Übersetzung, Sentimentanalyse und die Erkennung benannter Entitäten. Außerdem erfahren Sie mehr über die wesentlichen Unterschiede zwischen diesen Bewertungsarten sowie über die Bedeutung von Kontext und Anwendungsbereich für die Bestimmung des Nutzens eines Modells. Darüber hinaus werden Sie spezifische Metriken wie Kreuzentropieverlust, Perplexität, BLEU- und ROUGE-Werte kennenlernen, um ein umfassendes Verständnis dafür zu erlangen, wie NLP-Modelle bewertet und verbessert werden können.

Dieses Modul befasst sich mit verschiedenen Techniken der Themenmodellierung in der Verarbeitung natürlicher Sprache (NLP) und konzentriert sich dabei auf Methoden wie die Latente Semantische Analyse (LSA), die Nicht-Negative Matrixfaktorisierung (NMF) und die Latente Dirichlet-Allokation (LDA). Es beginnt mit einer Einführung in die Matrixfaktorisierung und der Bedeutung der Umwandlung von Textdaten in numerische Darstellungen. Sie werden sich eingehend mit den Funktionsweisen von LSA und NMF befassen und dabei insbesondere deren Einsatz von TF-IDF und der Singulärwertzerlegung (SVD) zur Aufdeckung latenter semantischer Strukturen betrachten. Darüber hinaus werden Sie den probabilistischen Ansatz der LDA zur Themenmodellierung betrachten und erläutern, wie diese auf Dirichlet-Verteilungen und bayessche Inferenz zurückgreift, um verborgene Themen innerhalb eines Korpus zu identifizieren. Anhand detaillierter Beispiele und mathematischer Erläuterungen vermittelt das Modul ein umfassendes Verständnis dafür, wie diese Techniken angewendet werden können, um aussagekräftige Themen aus großen Textdatensätzen zu extrahieren.

Dieses Modul befasst sich mit den grundlegenden Techniken der syntaktischen und semantischen Analyse in der Verarbeitung natürlicher Sprache (NLP). Zunächst befassen Sie sich mit sprachlichen Strukturen, wobei der Schwerpunkt auf der Phrasenstruktur und der Abhängigkeitsstruktur liegt, die für das Verständnis der Satzsyntax von grundlegender Bedeutung sind. Anschließend werden verschiedene Parsing-Methoden behandelt, darunter das übergangsbasierte und das graphbasierte Abhängigkeits-Parsing, wobei deren jeweilige Vorteile und Herausforderungen hervorgehoben werden. Darüber hinaus werden Sie sich mit dem neuronalen, überübergänge basierten Parsing befassen, das neuronale Netze nutzt, um Genauigkeit und Effizienz zu verbessern. Abschließend behandelt das Modul das semantische Parsing und betont dessen Rolle bei der Abbildung von Sätzen auf formale Bedeutungsdarstellungen, was für Anwendungen wie Dialogsysteme und die Informationsextraktion von entscheidender Bedeutung ist.