皮尔森与斯皮尔曼的区别（cvpr 2024｜基于复杂度和脆弱性，评估生成模型及其生成的个体图像）

主题：通过复杂度和脆弱性评估生成模型及其生成的个体图像

一、研究背景

随着生成模型的快速发展，如何准确评估生成图像的质量变得至关重要。传统的评估方法主要依赖特征提取模型比较参考图像和生成图像的特征距离，但这种方法往往无法准确反映生成图像的自然度。本文提出一种新的评估方法，通过考虑复杂度和脆弱性两个维度来更准确地评估生成模型及其生成的个体图像。

二、研究意义

本文提出的评估方法对于推动生成模型的发展和应用具有重要意义。通过复杂度和脆弱性两个维度，可以更准确地反映生成图像的自然度，与人类感知保持高度一致。这种方法在需要高质量生成图像的领域，如计算机视觉、艺术创作等，具有重要的应用价值。

三、文献综述

生成模型的研究进展：近年来，生成模型如GANs、VAEs和扩散模型等在图像生成领域取得了显著进展，能够生成逼真的数据样本。

生成模型的评估方法：现有的评估方法主要包括样本统计量比较、模型保真度和多样性的评估以及个体生成图像质量的评估。这些方法往往存在与人类感知不一致的问题。

四、具体方法

复杂度（Complexity）：复杂度是衡量表示空间在输入空间线性变化下的非线性程度。通过向图像逐渐添加随机噪声，并计算特征变化的角度变化来量化复杂度。

脆弱性（Vulnerability）：脆弱性衡量输入空间的微小变化对提取特征的影响程度。使用对抗性攻击方法，通过迭代扰动图像并计算特征变化来量化脆弱性。

异常分数（Anomaly Score, AS）：用于评估生成模型的整体性能，通过比较参考图像和生成图像在复杂度和脆弱性分布上的差异来计算。使用二维Kolmogorov-Smirnov统计量来衡量两个分布的差异。

个体图像异常分数（AS-i）：用于评估个体生成图像的质量，通过结合复杂度和脆弱性来计算。使用脆弱性除以复杂度的公式来计算AS-i。

五、研究结果及解释

1. 图1展示了提出的异常分数（AS）和单张图像异常分数（AS-i）用于评估生成模型和单张生成图像的效果。发现AS分数与人类感知之间具有良好的对齐性，而AS-i能够准确反映图像的自然度。

2. 图2展示了真实数据周围的线性度趋势，说明了生成图像在表示空间中的复杂性较低。随着噪声的增加，表示空间中的线性度逐渐减小，支持了假设：生成图像位于表示空间中复杂性较低的区域。

3. 表1比较了不同数据集的复杂度值，发现无论是使用哪种特征模型，生成图像的复杂度值普遍低于真实图像。这进一步证实了生成图像位于表示空间中复杂性较低的区域。统计显著性检验证实了这一差异。图3展示了不同特征模型和生成模型在复杂度上的累积分布函数，进一步验证了不同模型之间的差异。表2展示了不同数据集的脆弱性值以及相关的统计分析结果。使用对抗性攻击能够识别出不自然的图像组件，通过PGD对抗性攻击可有效识别不自然部分。图4展示了这一过程的示例。表3对比了不同评估指标与人类感知之间的相关性，发现基于复杂度和脆弱性的二维异常分数与人类感知的相关性最高。图5展示了不同MVT级别图像的脆弱性分布之间的关系。图6展示了MVT数据集中的示例图像，用于说明图像的自然度与人类识别时间之间的关系。图7-图9分别展示了AS方法在评估不同类型数据集上生成模型性能的整体结果以及与FID方法的对比结果。图10对比了仅使用单一指标与AS方法在评估生成模型性能方面的差异，进一步验证了AS方法的有效性。通过综合考虑复杂度和脆弱性两个维度，能够更准确地评估生成模型及其生成的个体图像的质量，并与人类感知保持较高的一致性。