CARLOS BOUZA

La generación automática de imágenes mediante inteligencia artificial ha avanzado de forma espectacular en los últimos años. Modelos como DALL·E, Midjourney, Stable Diffusion o Imagen son capaces de crear visuales hiperrealistas o artísticamente impactantes a partir de texto. Pero surge una pregunta clave:

¿Cómo evaluamos la calidad de estas imágenes generadas?

A diferencia de tareas como clasificación o detección, donde la exactitud puede medirse directamente, en la generación de imágenes no hay una única respuesta correcta. Por ello, se han desarrollado benchmarks específicos que permiten evaluar de forma cuantitativa y comparativa el rendimiento de los modelos generativos de imagen.

En este artículo repasamos los más utilizados: FID (Fréchet Inception Distance), Inception Score, y otras métricas complementarias que ayudan a valorar aspectos como la calidad, diversidad y realismo de las imágenes generadas.

1. FID: Fréchet Inception Distance

1.1. ¿Qué mide?

FID compara la distribución estadística de las características extraídas de las imágenes generadas y de las imágenes reales mediante un modelo Inception preentrenado. Cuanto más similares son las distribuciones, menor es el valor de FID y, por tanto, mayor es la calidad del modelo generador.

1.2. Ventajas

• Tiene en cuenta tanto la calidad como la diversidad de las imágenes.
• Es más robusto que métricas anteriores frente a sobreajuste.
• Se ha convertido en el estándar de facto en benchmarks de GANs y modelos difusivos.

1.3. Limitaciones

• Depende del modelo Inception v3, que no siempre es idóneo para todos los tipos de imágenes.
• No detecta bien errores estructurales si las estadísticas globales son similares.

2. Inception Score (IS)

2.1. ¿Qué mide?

El Inception Score evalúa dos propiedades:

• Confianza: las imágenes deben ser clasificadas con alta certeza (baja entropía).
• Diversidad: las imágenes generadas deben cubrir muchas categorías diferentes (alta entropía marginal).

2.2. Ventajas

• Fácil de implementar y de interpretar.
• Históricamente fue el primer estándar ampliamente adoptado en generación de imágenes.

2.3. Limitaciones

• No compara con imágenes reales, por lo que puede otorgar buenos resultados a modelos que generan imágenes irreales pero coherentes internamente.
• Más vulnerable al sobreajuste que FID.

3. Otras métricas relevantes

3.1. Precision y Recall para generación de imágenes

Estas métricas adaptadas al espacio latente de características evalúan:

• Precision: ¿Cuántas imágenes generadas se parecen a las reales?
• Recall: ¿Cuántas imágenes reales podría haber generado el modelo?

Proporcionan una visión más detallada del equilibrio entre calidad y diversidad.

3.2. Perceptual Path Length (PPL)

Mide la suavidad del espacio latente en modelos GAN. Un valor bajo indica que pequeños cambios en el vector latente producen transiciones suaves y coherentes en las imágenes.

3.3. CLIPScore

Evalúa la coherencia semántica entre texto e imagen usando el modelo CLIP de OpenAI. Es especialmente relevante para modelos texto-a-imagen.

Comparativa breve

Métrica	Evalúa	Ventaja principal	Limitación clave
FID	Calidad + diversidad	Comparación con distribución real	Dependencia del modelo Inception
Inception Score	Confianza + diversidad	Sencillez de cálculo	No compara con imágenes reales
Precision/Recall	Fidelidad / cobertura	Balance entre calidad y cobertura	Cálculo complejo
PPL	Suavidad en el espacio latente	Mide coherencia estructural	Difícil de interpretar sin contexto
CLIPScore	Coherencia texto-imagen	Ideal para modelos texto-a-imagen	Requiere un modelo externo (CLIP)

A medida que los modelos generativos de imagen se vuelven más sofisticados y versátiles, contar con métricas de evaluación robustas y comparables es esencial. FID se mantiene como el estándar dominante, pero otras métricas como Precision/Recall o CLIPScore ofrecen información complementaria valiosa.

La elección de la métrica adecuada dependerá del objetivo del modelo: realismo puro, diversidad estilística, coherencia con un texto o robustez del espacio latente. Para desarrolladores, investigadores y creadores visuales, entender estos benchmarks es clave para medir el progreso y orientar el desarrollo hacia resultados visualmente significativos y útiles.