Fundamentos de Transformers

Acerca de este curso

Este curso guía al estudiante desde el problema de representar secuencias discretas hasta la construcción de un mini modelo autoregresivo tipo decoder. Cada unidad conecta concepto, ecuación, forma tensorial, código, visualización e interpretación crítica.

Qué aprenderás

• Formular el lenguaje como una secuencia discreta y un problema de predicción autoregresiva.
• Construir tokenización simple, vocabulario, codificación y batches x/y.
• Interpretar embeddings, posiciones y formas tensoriales dentro de un Transformer.
• Implementar atención, self-attention, máscara causal y multi-head attention en PyTorch.
• Integrar residuales, LayerNorm, MLP y bloques decoder en un mini-GPT.
• Entrenar, generar texto y analizar límites sin sobreinterpretar resultados pequeños.

1. 01
   Presentación del curso15 min
2. 02
   El problema de modelar secuencias45 min
3. 03
   Tokens, vocabulario y batches1 h
4. 04
   Embeddings y geometría de tokens1 h
5. 05
   Posición y orden en secuencias45 min
6. 06
   Tensores del Transformer1 h
7. 07
   Atención como mezcla ponderada45 min
8. 08
   Consultas, llaves y valores (Q, K y V)1 h
9. 09
   Autoatención matricial (self-attention)1 h
10. 10
    Atención causal1 h
11. 11
    Atención multi-cabeza1 h 15 min
12. 12
    Residuales, LayerNorm y MLP1 h
13. 13
    Bloque Transformer decoder1 h 15 min
14. 14
    Mini-GPT desde cero1 h 30 min
15. 15
    Entrenamiento autoregresivo1 h 30 min
16. 16
    Generación, interpretación y límites1 h 15 min
17. 17
    Proyecto final2 h

Contenido creado con apoyo de IA, abierto a revisión comunitaria.

Abierto

0

En revisión

0

Aceptado

0

Resuelto

0

Última actividad: Sin actividad todavía

Detalles a tener en cuenta

Publicado por

ALI Engine

Idioma

ES

Evaluaciones

0

Dedicación estimada

18 h 15 min