Modelos de difusión para generación de imágenes

El interés

Los modelos de difusión generan imágenes aprendiendo a invertir un proceso de ruido. La idea es elegante: se destruye una imagen añadiendo ruido paso a paso, y se entrena una red para deshacer cada paso. Generar es empezar de ruido puro y recorrer el camino al revés.

Quería entender ese mecanismo por dentro, no usar una librería que lo hiciera por mí.

Qué hice

Partí de una implementación existente y la modifiqué en cuatro frentes: capas de la arquitectura, algoritmo de entrenamiento, hiperparámetros y funciones de pérdida. Cada modificación quedó en su propio cuaderno, para que la comparación fuera honesta y no un promedio de cambios mezclados.

Lo más útil fue implementar el FID, una métrica que compara la distribución de las imágenes generadas con la de las reales. Sin ella, evaluar un modelo generativo se reduce a mirar muestras y decidir cuál parece mejor, que es exactamente lo que no hay que hacer.

Lo que me llevé

Que evaluar es más difícil que generar. Construir el modelo es seguir un artículo; saber si la versión 3 es mejor que la 2 exige una métrica, y la métrica tiene sus propios supuestos que hay que entender.

Y que a 32×32 píxeles se aprende el mecanismo pero no se produce nada presentable. Es una decisión que tomé por presupuesto de cómputo y que volvería a tomar, siempre que quede claro en el enunciado para qué sirve el ejercicio.