Introducción

¿Para quién está dirigido este curso?

Este curso corresponde con el material que me hubiera gustado encontrarme cuando empecé a interesarme por los modelos generativos (allá por el 2017).

Para quienes tienen un background de ingeniería, explorar la literatura de Machine Learning puede resultar intimidante. Álgebra, cálculo, estadística, etc., son asignaturas de los primeros cursos cuyos detalles tienden a olvidarse. En consecuencia, conceptos como la optimización de la ELBO, la transformación de densidades o la entropía de Shannon pueden parecer más difíciles de lo que realmente son.

Este curso va dirigido a cualquier persona que se sienta identificada con esta situación, tenga un mínimo de trasfondo técnico y, sobre todo, interés por conocer a más bajo nivel cómo funcionan estos modelos. Mi objetivo es acompañarte a aprender sobre los conceptos subyacentes, pero que a su vez puedas utilizarlos desde un punto de vista práctico. Por ello, en cada capítulo vas a ver que hay código para reforzar el entendimiento de las explicaciones y para que puedas experimentar por tu cuenta.

Antes de empezar, dos cosas a aclarar:

1. Si buscas material que profundice en estadística, cálculo o probabilidad, este no es el sitio. En Internet puedes encontrar contenido especializado de gran calidad.

2. He intentado mantener una estética visualmente atractiva para que sea un recurso al que quieras volver, pero es importante remarcar que entender y consolidar el conocimiento lleva tiempo.

"Learning is not supposed to be fun. It doesn't have to be actively not fun either, but the primary feeling should be that of effort." — Andrej Karpathy

IA Generativa

Como puedes ver en la figura, dentro del panorama de la inteligencia artificial, la IA generativa engloba métodos y técnicas capaces de generar nuevas muestras de datos.

Desde el punto de vista probabilístico, ajustamos un modelo a la distribución de entrenamiento $p_{\mathrm{data}}(x)$ para después muestrear de la distribución aprendida $p_\theta(x)$.

Este proceso es aplicable a diversos dominios. A continuación te dejo algunos ejemplos que seguramente ya conoces.

Generación de imágenes

Nano Banana (Google), GPT Image 2 (OpenAI), DALL·E, Stable Diffusion, Adobe Firefly, Midjourney, FLUX…

Generación de texto / código

ChatGPT, Claude, Gemini, Grok, Mixtral…

Generación de audio

Suno, ElevenLabs, WaveNet, VALL-E, Stable Audio, Udio…

Modelos generativos condicionales

Generalmente queremos controlar lo que se genera. Por ello, se utilizan modelos generativos condicionales de la forma $p(x \mid c)$. Algunos ejemplos:

• $c$ = texto, $x$ = imagen: modelo text-to-image. Ejemplo: Nano Banana.
• $c$ = imagen, $x$ = texto: modelo image-to-text. Ejemplo: pásale una imagen a ChatGPT y pídele que te la describa.
• $c$ = imagen, $x$ = imagen: modelo image-to-image. Ejemplo: edición de imágenes en Adobe Firefly.
• $c$ = audio, $x$ = texto: modelo speech-to-text. Ejemplo: Whisper, o cualquier dictado por voz.
• $c$ = texto, $x$ = audio: modelo text-to-speech. Ejemplo: ElevenLabs TTS.
• $c$ = texto, $x$ = texto: modelo sequence-to-sequence. Ejemplo: traductores (aquí también entrarían modelos de generación de texto).

Otras aplicaciones

Lo bueno de modelar una distribución es que no solo permite generar datos, si no muchas otras cosas más.

Estimación de densidad

Consiste en evaluar la probabilidad de que una muestra de datos pertenezca a una distribución concreta, es decir, calcular $p(x)$. Esto es útil para problemas como la compresión de datos, detección de anomalías, clasificación, comparación de modelos, etc.

El enfoque más simplista para la estimación de densidad consiste en utilizar la kernel density estimation o KDE. Sin embargo, KDE enfrenta limitaciones en espacios de alta dimensión (curse of dimensionality), donde la densidad de los datos se vuelve extremadamente dispersa.

Las redes generativas modernas superan esta limitación al aprender representaciones compactas y complejas que permiten estimar o modelar la densidad de manera mucho más eficiente y escalable en datos de alta dimensionalidad como imágenes, audio o texto.

Imputación de datos

Consiste en "rellenar" los valores que faltan en un vector o matriz de datos. Por ejemplo, una forma sencilla de rellenar datos perdidos en datos tabulares es utilizar el valor medio de cada columna (imputación del valor medio).

Podemos generalizarlo aprendiendo un modelo conjunto sobre todas las variables y, para cada registro incompleto, muestreando los valores ausentes $X_m$ condicionados en los observados $X_o$: $p_\theta(X_m\mid X_o)$. Esto se denomina imputación múltiple.

Un modelo generativo puede utilizarse para rellenar tipos de datos más complejos, como píxeles enmascarados en una imagen.

Representation learning

Algunos tipos de modelos generativos tienen variables latentes $z$, que se pueden entender como las causas que generaron los datos observados $x$. Estas variables en general reducen la dimensionalidad de los datos y permiten descubrir patrones / representaciones útiles.

Interpolación en el espacio latente

El espacio latente es donde viven las variables latentes. Se puede entender como el espacio al que los modelos comprimen los datos.

Una de las capacidades más interesantes de ciertos modelos de variables latentes es la posibilidad de generar muestras que tengan ciertas propiedades deseadas interpolando entre puntos de datos existentes en el espacio latente.

En el siguiente ejemplo reducimos el espacio latente a dos dimensiones: cada silla es un punto en un plano. Elegimos cuatro muestras e interpolamos sus coordenadas. Al decodificar los puntos intermedios obtenemos representaciones que combinan propiedades de las muestras seleccionadas.

Compresión de datos

Los modelos que pueden asignar una alta probabilidad a datos que aparecen con frecuencia y una baja probabilidad a los poco frecuentes se pueden utilizar para compresión de datos, ya que pueden asignar códigos más cortos a los elementos más comunes. De hecho, la longitud de codificación óptima para un vector $x$ procedente de una fuente estocástica $p(x)$ es $l(x) = -\log p(x)$, como demostró Shannon. La compresión es un campo muy bonito que se superpone directamente con la Teoría de la Información. Veremos algo de esto en el capítulo de Autoencoders Variacionales.

Timeline

Este timeline reúne una selección de trabajos especialmente influyentes en la evolución de los modelos generativos. No te preocupes si no entiendes de qué tratan ahora, es una referencia a la que puedes volver más adelante.

También abordaremos modelos fundacionales. Sin embargo, la literatura es mucho más amplia así que he decidido ceñirme únicamente a trabajos relacionados con modelos generativos.

Evolución de los modelos generativos

TodasLLMImagenMultimodalDifusiónGANAlineamientoRazonamientoEficienciaArquitectura

26 publicaciones visibles.

2013

2014

2015

2016

2017

2018

2019

2020

2021

2022

2023

2024

2025

2026

Variational autoencoderAuto-Encoding Variational BayesFormula el aprendizaje de modelos de variables latentes mediante inferencia variacional y el truco de reparametrización.GANGenerative Adversarial NetsIntroduce un proceso de entrenamiento de juego mini-max entre un generador y un discriminador: uno produce muestras y el otro intenta distinguirlas de los datos reales.Diffusion modelsDeep Unsupervised Learning using Nonequilibrium ThermodynamicsIntroduce un proceso directo que destruye gradualmente la estructura de los datos añadiendo ruido y aprende una dinámica inversa que la recupera.PixelRNNPixel Recurrent Neural NetworksDescompone la distribución de una imagen en probabilidades condicionales de píxeles y las modela secuencialmente.TransformerAttention Is All You NeedSustituye recurrencia y convoluciones por bloques de atención en un modelo sequence-to-sequence.VQ-VAENeural Discrete Representation LearningIntroduce un autoencoder con un código latente discreto aprendido mediante cuantización vectorial.GPTImproving Language Understanding by Generative Pre-TrainingCombina preentrenamiento generativo autoregresivo sobre texto sin etiquetar con ajuste supervisado para tareas posteriores.StyleGANA Style-Based Generator Architecture for Generative Adversarial NetworksReformula el generador de una GAN mediante una red de mapeo y controles de estilo inyectados a distintas escalas.GPT-2Language Models are Unsupervised Multitask LearnersEscalado de GPT y evaluación zero-shot.Scaling lawsScaling Laws for Neural Language ModelsEstudia empíricamente cómo cambia la pérdida de modelos de lenguaje con el número de parámetros, los datos y la capacidad de cómputo..GPT-3Language Models are Few-Shot LearnersSe presenta GPT-3 como un modelo de 175 mil millones de parámetros y sus capacidades de in-context Learning.RAGRetrieval-Augmented Generation for Knowledge-Intensive NLP TasksCombina un modelo retrieval con un generador sequence-to-sequence y marginaliza sobre los documentos recuperados.DDPMDenoising Diffusion Probabilistic ModelsEntrena un modelo para invertir gradualmente un proceso fijo que añade ruido a los datos.DALL·EZero-Shot Text-to-Image GenerationModela conjuntamente tokens de texto e imagen con un Transformer autoregresivo, usando un VAE discreto para comprimir las imágenes.CLIPLearning Transferable Visual Models From Natural Language SupervisionAprende representaciones alineadas mediante un objetivo contrastivo sobre pares de texto e imagen.LoRALoRA: Low-Rank Adaptation of Large Language ModelsMantiene congelados los pesos preentrenados e introduce actualizaciones de bajo rango en nuevas matrices.Latent DiffusionHigh-Resolution Image Synthesis with Latent Diffusion ModelsTraslada el proceso de difusión desde el espacio de píxeles a un espacio latente aprendido por un autoencoder.Chain-of-ThoughtChain-of-Thought Prompting Elicits Reasoning in Large Language ModelsIncluye ejemplos con pasos intermedios de razonamiento dentro del prompt antes de pedir una respuesta.InstructGPT / RLHFTraining Language Models to Follow Instructions with Human FeedbackCombina ajuste supervisado sobre demostraciones, un modelo de recompensa aprendido de preferencias humanas y optimización mediante refuerzo.Chinchilla scalingTraining Compute-Optimal Large Language ModelsReexamina el reparto óptimo dado un presupuesto de cómputo entre parámetros y tokens de entrenamiento.Flow MatchingFlow Matching for Generative ModelingPropone entrenar campos vectoriales de flujos normalizadores continuos haciendo regresión sobre caminos de probabilidad condicionales.Diffusion TransformerScalable Diffusion Models with TransformersSustituye la U-Net habitual de difusión por un Transformer que procesa patches del espacio latente.DPODirect Preference Optimization: Your Language Model is Secretly a Reward ModelDeriva un objetivo de clasificación que optimiza directamente un modelo de lenguaje con pares de respuestas preferidas y rechazadas.MambaMamba: Linear-Time Sequence Modeling with Selective State SpacesIntroduce mecanismos de selección dependientes de la entrada en modelos de espacio de estados y una implementación eficiente para hardware.Llama 3The Llama 3 Herd of ModelsDocumenta una familia de modelos autoregresivos y su pipeline de datos, escalado, evaluación, seguridad y post-training.DeepSeek-R1DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningEstudia cómo entrenar modelos de lenguaje para tareas de razonamiento mediante aprendizaje por refuerzo con recompensas verificables, seguido de etapas de ajuste y RL.