ControlNet

ControlNet es una arquitectura que añade control estructural a los modelos de difusión: el usuario aporta, además del texto, una condición espacial —esqueleto de pose, mapa de bordes, profundidad o boceto— y el modelo genera una imagen que respeta exactamente esa estructura. Publicada en 2023, resolvió la principal carencia de la generación por texto: la precisión composicional.

Cómo funciona la arquitectura

El método de Zhang, Rao y Agrawala (2023) es elegante: se congela el modelo de difusión original y se crea una copia entrenable de sus bloques codificadores, que aprende a procesar la condición estructural. Ambas ramas se conectan mediante «convoluciones cero» —capas inicializadas a cero que crecen gradualmente durante el entrenamiento—, lo que garantiza que al inicio la copia no perturbe al modelo base y que el ajuste no destruya lo aprendido con miles de millones de imágenes.

El resultado práctico: con decenas de miles de pares de ejemplo —una fracción mínima del corpus original— el modelo aprende a obedecer esqueletos de pose OpenPose, bordes Canny, mapas de profundidad, segmentación semántica o garabatos. El código y los modelos se publicaron abiertamente, extensiones comunitarias como sd-webui-controlnet la llevaron a las interfaces populares y la técnica se convirtió en estándar de la generación condicionada.

Qué permite y por qué se volvió estándar

ControlNet convirtió la generación de imágenes de una lotería de prompts en un proceso dirigible. Diseñadores convierten bocetos en renders finales conservando cada línea; estudios generan personajes en poses exactas definidas por un esqueleto; arquitectos rellenan volúmenes a partir de mapas de profundidad; y los flujos profesionales encadenan varios ControlNets —pose más bordes más profundidad— para fijar composiciones completas dejando al modelo solo el acabado.

Combinada con LoRA para el estilo y con inpainting para la edición local, la técnica cierra el triángulo del control creativo: qué se genera (texto), cómo se ve (LoRA) y dónde va cada cosa (ControlNet). Esa madurez del stack abierto sobre Stable Diffusion explica que la calidad profesional dejara de ser exclusiva de los servicios comerciales cerrados.

El ecosistema añadió refinamientos que consolidaron su dominio: variantes que combinan varios tipos de condición en un solo modelo, versiones ligeras para inferencia rápida y modos de referencia que trasladan la identidad visual de una imagen sin necesidad de entrenamiento adicional. En los flujos de video, la condición estructural fotograma a fotograma es además la vía práctica para mantener coherencia temporal, un problema que el texto solo no resuelve.

Implicaciones para la manipulación de personas

El mismo control que sirve al diseño hace más verosímil el abuso: un esqueleto de pose extraído de una foto real permite generar a otra persona —o a la misma, desvestida sintéticamente— en la postura exacta del original, con anatomía coherente y sin las deformidades que delataban a los generadores tempranos. En los pipelines de desnudo sintético, ControlNet aporta precisamente esa consistencia corporal que los hace convincentes, encadenado con segmentación automática e inpainting.

Conviene la precisión técnica: ControlNet no contiene contenido explícito ni está diseñado para él; es infraestructura neutral de control composicional. La responsabilidad recae en quien lo aplica a imágenes de personas sin su consentimiento y en los servicios que lo integran sin salvaguardas —sin filtros de edad aparente, sin bloqueo de rostros de terceros—, criterios que puntuamos sistemáticamente en nuestras reseñas de la categoría.