2017–2020
Grundlagen
2017 · Attention is All You Need
Meilensteine
Die Transformer-Architektur revolutioniert NLP
Neue Fähigkeiten Freigeschaltet
Sprachverständnis
Struktur, Bedeutung und Kontext menschlicher Sprache analysieren und verstehen
Sprache
Wirkung
Übersetzungsdienste wurden dramatisch besser. Google Translate und andere Tools konnten nun Kontext verstehen, wodurch Übersetzungen natürlicher und genauer wurden. Dies erleichterte die globale Kommunikation für jeden.
- Parameter
- ~65M
- Kontext
- 512 Tokens
Quelle Vaswani et al., 2017
Schlüsselbegriffe
- Transformer
- Neuronale Netzwerkarchitektur, die Self-Attention verwendet, um Sequenzen parallel zu verarbeiten und ältere rekurrente Modelle ersetzt.
- Tokens
- Textteile, die das Modell verarbeitet. Ein Token entspricht ungefähr 4 Zeichen oder 0,75 Wörtern auf Englisch.
- Parameter
- Erlernte Gewichte im Modell. Mehr Parameter bedeuten im Allgemeinen mehr Wissen und Fähigkeiten, aber auch höhere Kosten.
- Few-Shot Learning
- Das Erlernen einer Aufgabe aus nur wenigen im Prompt bereitgestellten Beispielen, ohne erneutes Training.