2017–2020
Fondations
2017 · Attention is All You Need
Jalons
L'architecture Transformer révolutionne le TALN
Nouvelles Capacités Débloquées
Compréhension du Langage
Analyser et comprendre la structure, le sens et le contexte du langage humain
Langage
Impact
Les services de traduction se sont considérablement améliorés. Google Translate et d'autres outils pouvaient désormais comprendre le contexte, rendant les traductions plus naturelles et précises. Cela a facilité la communication mondiale pour tous.
- Paramètres
- ~65M
- Contexte
- 512 jetons
Source Vaswani et al., 2017
Termes clés
- Transformer
- Architecture de réseau neuronal utilisant l'auto-attention pour traiter les séquences en parallèle, remplaçant les anciens modèles récurrents.
- Jetons
- Morceaux de texte que le modèle traite. Un jeton correspond environ à 4 caractères ou 0,75 mots en anglais.
- Paramètres
- Poids appris dans le modèle. Plus de paramètres signifie généralement plus de connaissances et de capacités, mais aussi un coût plus élevé.
- Apprentissage Few-Shot
- Apprendre à effectuer une tâche à partir de quelques exemples fournis dans le prompt, sans ré-entraînement.