2017–2020
Fundamentos
2017 · Attention is All You Need
Hitos
La arquitectura Transformer revoluciona el PLN
Nuevas Capacidades Desbloqueadas
Comprensión del Lenguaje
Analizar y comprender la estructura, significado y contexto del lenguaje humano
Lenguaje
Impacto
Los servicios de traducción mejoraron drásticamente. Google Translate y otras herramientas ahora podían entender el contexto, haciendo las traducciones más naturales y precisas. Esto facilitó la comunicación global para todos.
- Parámetros
- ~65M
- Contexto
- 512 tokens
Fuente Vaswani et al., 2017
Términos clave
- Transformer
- Arquitectura de red neuronal que usa self-attention para procesar secuencias en paralelo, reemplazando modelos recurrentes antiguos.
- Tokens
- Piezas de texto que el modelo procesa. Un token es aproximadamente 4 caracteres o 0.75 palabras en inglés.
- Parámetros
- Pesos aprendidos en el modelo. Más parámetros generalmente significa más conocimiento y capacidad, pero también mayor costo.
- Aprendizaje Few-Shot
- Aprender a realizar una tarea con solo unos pocos ejemplos proporcionados en el prompt, sin reentrenamiento.