README

Fundamentos de Transformers

Curso abierto para comprender Transformers desde cero mediante una ruta conceptual, geométrica y computacional.

El curso no está diseñado como introducción a ChatGPT, prompting, RAG ni ajuste de modelos grandes. Su propósito es que el estudiante comprenda atención, autoatención, Q, K, V, multi-head attention, bloques decoder, entrenamiento autoregresivo, generación y límites mediante implementaciones pequeñas en PyTorch.

Descripción

Este curso guía al estudiante desde el problema de representar secuencias discretas hasta la construcción de un mini modelo autoregresivo tipo decoder. Cada unidad conecta concepto, ecuación, forma tensorial, código, visualización e interpretación crítica.

Audiencia objetivo

Estudiantes universitarios con bases iniciales en programación.
Personas con nociones básicas de álgebra lineal, probabilidad y aprendizaje automático.
Aprendices que quieren entender Transformers por dentro antes de usar APIs de alto nivel.

Lo que lograrás al finalizar

Formular el lenguaje como una secuencia discreta y un problema de predicción autoregresiva.
Construir tokenización simple, vocabulario, codificación y batches x/y.
Interpretar embeddings, posiciones y formas tensoriales dentro de un Transformer.
Implementar atención, self-attention, máscara causal y multi-head attention en PyTorch.
Integrar residuales, LayerNorm, MLP y bloques decoder en un mini-GPT.
Entrenar, generar texto y analizar límites sin sobreinterpretar resultados pequeños.

De secuencias discretas a un mini modelo autoregresivo, con atención, tensores y límites interpretativos.

Inicio rápido

Abra esta carpeta como raíz del proyecto:

courses/fundamentos_de_transformers/

Instale las dependencias:

pip install -r requirements.txt

Abra JupyterLab desde la raíz del curso:

jupyter lab

Luego ejecute los notebooks en orden desde:

notebooks/00_presentacion_del_curso.ipynb

Documentos principales

syllabus.pdf: propósito académico, módulos, alcance y ruta formativa.
guia_configuracion_curso/guia_configuracion_curso.pdf: preparación del entorno y verificaciones operativas.
docs/ruta_notebooks.pdf: secuencia conceptual de notebooks.
materiales/: notas técnicas públicas asociadas a los notebooks técnicos.

Estructura de la carpeta

notebooks/                  Cuadernos ejecutables del curso
materiales/                 Notas técnicas públicas y figuras por notebook
guia_configuracion_curso/   Guía operativa del entorno
assets/                     Branding y figuras conceptuales
data/                       Corpus o datos procesados si se requieren
models/                     Checkpoints pequeños si se generan
src/                        Utilidades mínimas del curso
docs/                       Ruta conceptual en PDF

Ruta de notebooks

00_presentacion_del_curso.ipynb
01_el_problema_de_modelar_secuencias.ipynb
02_tokens_vocabulario_y_batches.ipynb
03_embeddings_y_geometria_de_tokens.ipynb
04_posicion_y_orden_en_secuencias.ipynb
05_tensores_del_transformer.ipynb
06_atencion_como_mezcla_ponderada.ipynb
07_queries_keys_y_values.ipynb
08_self_attention_matricial.ipynb
09_atencion_causal.ipynb
10_multi_head_attention.ipynb
11_residuales_layernorm_y_mlp.ipynb
12_bloque_transformer_decoder.ipynb
13_mini_gpt_desde_cero.ipynb
14_entrenamiento_autoregresivo.ipynb
15_generacion_interpretacion_y_limites.ipynb
16_proyecto_final.ipynb

Material incluido

La versión distribuible incluye:

notebooks ejecutables 00-16;
audio de presentación del curso y audios introductorios por notebook;
figuras conceptuales en assets/figures/;
guía de configuración del entorno en PDF;
syllabus en PDF;
ruta de notebooks en PDF;
notas técnicas públicas en PDF para los notebooks 01-15;
utilidades mínimas en src/ para mantener los notebooks legibles.

Las fuentes auxiliares y archivos de construcción no son necesarios para cursar el material.