Mitglied seit 2024
Aufmerksamkeitsmechanismus
Earned Jul 5, 2024 EDT
Transformer-Modelle und BERT-Modell
Earned Mai 18, 2024 EDT
In diesem Kurs wird der Aufmerksamkeitsmechanismus vorgestellt. Dies ist ein leistungsstarkes Verfahren, das die Fokussierung neuronaler Netzwerke auf bestimmte Abschnitte einer Eingabesequenz ermöglicht. Sie erfahren, wie der Aufmerksamkeitsmechanismus funktioniert und wie Sie damit die Leistung verschiedener Machine Learning-Tasks wie maschinelle Übersetzungen, Zusammenfassungen von Texten und Question Answering verbessern können.
Dieser Kurs bietet eine Einführung in die Transformer-Architektur und das BERT-Modell (Bidirectional Encoder Representations from Transformers). Sie lernen die Hauptkomponenten der Transformer-Architektur wie den Self-Attention-Mechanismus kennen und erfahren, wie Sie diesen zum Erstellen des BERT-Modells verwenden. Darüber hinaus werden verschiedene Aufgaben behandelt, für die BERT genutzt werden kann, wie etwa Textklassifizierung, Question Answering und Natural-Language-Inferenz. Der gesamte Kurs dauert ungefähr 45 Minuten.