Mitglied seit 2013
Transformer-Modelle und BERT-Modell
Earned Sep 15, 2025 EDT
Aufmerksamkeitsmechanismus
Earned Sep 14, 2025 EDT
Dieser Kurs bietet eine Einführung in die Transformer-Architektur und das BERT-Modell (Bidirectional Encoder Representations from Transformers). Sie lernen die Hauptkomponenten der Transformer-Architektur wie den Self-Attention-Mechanismus kennen und erfahren, wie Sie diesen zum Erstellen des BERT-Modells verwenden. Darüber hinaus werden verschiedene Aufgaben behandelt, für die BERT genutzt werden kann, wie etwa Textklassifizierung, Question Answering und Natural-Language-Inferenz. Der gesamte Kurs dauert ungefähr 45 Minuten.
In diesem Kurs wird der Aufmerksamkeitsmechanismus vorgestellt. Dies ist ein leistungsstarkes Verfahren, das die Fokussierung neuronaler Netzwerke auf bestimmte Abschnitte einer Eingabesequenz ermöglicht. Sie erfahren, wie der Aufmerksamkeitsmechanismus funktioniert und wie Sie damit die Leistung verschiedener Machine Learning-Tasks wie maschinelle Übersetzungen, Zusammenfassungen von Texten und Question Answering verbessern können.