04
Modèles Transformer et modèle BERT
04
Modèles Transformer et modèle BERT
Ce cours présente l'architecture Transformer et le modèle BERT (Bidirectional Encoder Representations from Transformers). Vous découvrirez quels sont les principaux composants de l'architecture Transformer, tels que le mécanisme d'auto-attention, et comment ils sont utilisés pour créer un modèle BERT. Vous verrez également les différentes tâches pour lesquelles le modèle BERT peut être utilisé, comme la classification de texte, les questions-réponses et l'inférence en langage naturel. Ce cours dure environ 45 minutes.
- Comprendre les principaux composants de l'architecture Transformer
- Apprendre comment un modèle BERT est créé à l'aide de Transformer
- Utiliser BERT pour réaliser différentes tâches de traitement du langage naturel (TLN)
- Niveau d'expérience intermédiaire en machine learning
- Maîtrise des représentations vectorielles continues de mots et du mécanisme d'attention
- Connaissance de Python et TensorFlow