Shamik Mishra

這堂課程將說明變換器架構，以及基於變換器的雙向編碼器表示技術 (BERT) 模型，同時帶您瞭解變換器架構的主要組成 (如自我注意力機制) 和如何用架構建立 BERT 模型。此外，也會介紹 BERT 適用的各種任務，像是文字分類、問題回答和自然語言推論。課程預計約 45 分鐘。

本課程將介紹注意力機制，說明這項強大技術如何讓類神經網路專注於輸入序列的特定部分。此外，也將解釋注意力的運作方式，以及如何使用注意力來提高各種機器學習任務的成效，包括機器翻譯、文字摘要和回答問題。