Difusión latente

La difusión latente es la arquitectura de generación de imágenes que ejecuta el proceso de difusión no sobre los píxeles, sino sobre una representación comprimida —latente— de la imagen creada por un autoencoder. Publicada en 2021, redujo drásticamente el costo computacional y es la base de Stable Diffusion y de buena parte de los generadores actuales.

La idea central: difundir en espacio comprimido

Los modelos de difusión originales operaban píxel a píxel: generar una imagen de alta resolución exigía cientos de pasos de eliminación de ruido sobre millones de valores, un costo que confinaba la técnica a laboratorios con clusters de GPU. El grupo de Rombach y Ommer propuso separar el problema en dos (Rombach et al., 2021): un autoencoder variacional (VAE) aprende primero a comprimir la imagen a un «latente» decenas de veces más pequeño que conserva su contenido perceptual, y la difusión se ejecuta después íntegramente en ese espacio reducido.

El resultado mantiene la calidad visual con una fracción del cómputo: el trabajo, presentado en CVPR 2022, demostró síntesis competitiva en una sola GPU de consumo. La generación final es un proceso de tres actos: difusión en el latente, guiada por el texto, y decodificación del latente resultante a píxeles mediante el VAE.

Los componentes y el condicionamiento por texto

La arquitectura canónica suma tres piezas. El VAE comprime y descomprime. Una red U-Net —hoy sustituida por transformers de difusión en los modelos más recientes— ejecuta los pasos de eliminación de ruido en el latente. Y un codificador de texto tipo CLIP convierte el prompt en vectores que guían cada paso mediante atención cruzada: es el mecanismo que conecta «un retrato al óleo» con las regiones del latente que deben parecerlo (código original de CompVis).

Sobre este diseño se construyó Stable Diffusion, el modelo abierto entrenado sobre miles de millones de pares imagen-texto que llevó la arquitectura al gran público en 2022, y de él descienden las versiones XL y los derivados comunitarios. Todo el ecosistema de control descrito en esta enciclopedia —LoRA, ControlNet, inpainting— opera precisamente sobre ese espacio latente.

Por qué importa: democratización y doble uso

La compresión latente no fue una mejora incremental sino el punto de inflexión económico de la imagen sintética: al caber en una GPU doméstica, la generación dejó de depender de servicios centralizados con moderación y pasó a ejecutarse localmente, sin filtros, sin registro y sin trazabilidad. Frente a los GAN, además, la difusión latente generaliza mejor y no exige entrenar un modelo por dominio, lo que multiplicó la variedad de lo generable. La liberación pública de Stable Diffusion en agosto de 2022 materializó ese salto.

Ese doble filo define la categoría que documenta este sitio: la misma eficiencia que sostiene la industria creativa alimenta los servicios de desnudo sintético, que son en esencia difusión latente con inpainting y adaptaciones especializadas. Las respuestas —marcado de salidas, clasificadores, credenciales de procedencia y las leyes de NCII— se analizan término a término en esta enciclopedia; la evaluación de servicios concretos, en nuestro análisis general de la categoría.

La arquitectura siguió evolucionando —los transformers de difusión sustituyen a la U-Net en los modelos de imagen y video más recientes—, pero el principio de trabajar en un espacio comprimido se mantiene intacto: sigue siendo la razón de que generar una imagen cueste céntimos y de que el análisis forense busque las huellas del decodificador en cada píxel.