核心发现
方法论
HYPE将真实图像与生成图像各半随机呈现给Amazon Mechanical Turk评审者。HYPEtime采用心理物理学的3-up/1-down自适应阶梯：答对后曝光时间减少30ms，答错后增加10ms，在100—1000ms内估计75%准确率阈值。HYPE∞取消时间限制，统计100张图像中的总体误判率；50%表示达到随机水平。评审者先完成100题资格测试，须正确识别至少65%。
关键结果
- CelebA-64上，HYPE∞将StyleGAN截断采样、ProGAN、BEGAN和WGAN-GP分别排为50.7%、40.3%、10.0%和3.8%，ANOVA为F(3,29)=404.4，所有两两比较均显著。
- FFHQ-1024上，StyleGAN截断与非截断采样的HYPEtime为363.2ms和240.7ms，HYPE∞为27.6%和19.0%；对应t检验分别显著，说明截断技巧改善人类感知真实性。
- HYPE∞约需每模型30名评审者、10分钟和约60美元；StyleGAN训练过程中得分由4k、9k、25k步的29.5%升至45.9%和50.3%，且引导采样能稳定反映模型进步。
研究意义
论文回应了生成模型评估长期依赖不稳定人工观察或间接自动指标的问题。它把“人类觉得像不像真的”转化为可重复、可比较的标准化实验，覆盖人脸、物体、条件和无条件生成。结果表明FID、KID及precision与人类判断的相关性会随数据集和模型改变；因此，HYPE可作为模型开发中的外部效度校验，帮助研究者避免仅针对自动指标进行优化。
技术贡献
核心贡献不是新的生成器，而是一个具有心理物理学基础的评测协议。HYPEtime用自适应阶梯和视觉掩蔽图像估计感知阈值，避免固定曝光造成的测量浪费；HYPE∞则用双向错误率同时捕捉“看出假图”和“误判真图”，并能表达超过50%的相对超真实。论文还引入资格筛选、K=5000候选样本、30人重采样Bootstrap及ANOVA/Tukey检验，形成可复现的评测工程。
新颖性
相较于临时设计的Mechanical Turk打分、FID和Inception Score，HYPE首次系统地把心理物理学阈值、自适应刺激控制、评审者训练和统计可复现性整合为生成真实性基准。其重要创新是同时提供高解释性的HYPEtime与低成本的HYPE∞，并验证二者在模型排序上的一致性。
局限性
- HYPE测量的是相对于训练数据的视觉真实性，而非真实世界真实性；数据分布、分辨率和评审者文化经验都会影响结果。
- 实验集中于静态图像和GAN，不能直接推断文本、音乐、视频或扩散模型；HYPEtime还受浏览器100ms最低曝光限制。
- 人类错误率可能混合图像质量、类别难度和评审者偏差，且论文的某些相关性检验样本较小。
未来方向
作者计划将HYPE扩展到文本、音乐和视频生成。后续可研究跨文化评审、多语言与多模态任务、扩散模型和开放世界数据，并用分层统计模型区分生成质量、类别难度、评审者能力与数据集偏差。
AI 总览摘要
生成模型进步很快，但“生成得像不像真的”并没有统一答案。FID、Inception Score、KID和precision依赖启发式距离或预训练特征；人工评测又常因曝光时间、任务说明和样本选择不同而剧烈波动。HYPE试图把这一混乱变成标准化的人类视觉基准。
HYPE包含两个版本。HYPEtime借鉴心理物理学，通过3-up/1-down自适应阶梯改变图像曝光时间，并用视觉掩蔽减少残像影响，估计人类分辨真假所需的最短时间。HYPE∞则让评审者不限时判断100张真假图像，以总体误判率衡量欺骗性；50%代表真假难以区分。研究者从每个模型抽取5000张候选图像，经过资格筛选后，通常使用30名评审者，并通过Bootstrap给出95%置信区间。
在CelebA-64上，HYPE∞将StyleGAN截断采样评为50.7%，明显高于ProGAN的40.3%、BEGAN的10.0%和WGAN-GP的3.8%。FFHQ-1024上，StyleGAN截断采样的HYPEtime为363.2ms，非截断为240.7ms；HYPE∞分别为27.6%和19.0%。该方法还能追踪训练进步：StyleGAN在4k、9k和25k步的得分为29.5%、45.9%和50.3%。HYPE∞每模型约60美元、10分钟即可完成，显示出作为生成模型常规质量门槛的潜力，但其结论仍局限于特定数据、评审者与视觉任务。
深度分析
研究背景
生成模型评测经历了从密度估计到Inception Score、FID、KID和precision的转变。FID用特征分布距离比较生成与真实图像，KID试图减少有限样本偏差，但这些指标依赖预训练表示，且在非ImageNet数据上可能失真。人工评估更接近最终感知，却长期缺乏统一协议、理论依据和重复性。
核心问题
论文要解决的是如何低成本、稳定地测量人类感知的生成真实性。困难包括生成样本多样性、评审者能力差异、任务设计效应、真实图像本身的质量，以及模型间差异可能小于测量噪声。若评测不可靠，研究者就可能在噪声上进行模型迭代。
核心创新
- �� HYPEtime：把曝光时间作为刺激变量，以自适应阶梯估计75%辨别阈值。
- �� HYPE∞：以真假两类的总体错误率近似感知不可分性，成本约降低6倍。
- �� 质量控制：65%资格门槛、训练与按正确率付费。
- �� 统计验证：30名评审者、Bootstrap置信区间、ANOVA和Tukey检验。
- �� 跨任务测试：覆盖CelebA、FFHQ、CIFAR-10和ImageNet-5。
方法详解
- �� 每个模型生成5000张图，并从训练集取5000张真实图；评审者看到约一半真假样本。
- �� HYPEtime从500ms开始，每个区块150题；答对减少30ms，答错增加10ms，曝光范围为100—1000ms，之后呈现四张每张30ms的纹理掩蔽图。
- �� 每名评审者完成三个区块，取各区块众数曝光时间的平均值。
- �� HYPE∞呈现50张假图和50张真图，计算误判比例：错误越多，模型越难被识别。
- �� 从930名评审者中每次实验使用30人；重复有放回抽样10000次，报告95%置信区间。
实验设计
实验覆盖四种CelebA-64/CIFAR-10 GAN：StyleGAN、ProGAN、BEGAN和WGAN-GP；FFHQ-1024使用StyleGAN及截断技巧ψ=0.7；ImageNet-5比较SN-GAN与BigGAN，BigGAN使用σ=0.5或不截断。共记录约99k条HYPEtime和75k条HYPE∞判断。指标包括HYPE分数、FID、KID、precision及显著性检验。
结果分析
CelebA上HYPEtime均值为StyleGAN截断439.3ms、ProGAN 363.7ms，BEGAN和WGAN-GP触及100ms下限。FFHQ上截断与非截断为363.2和240.7ms。CIFAR-10上StyleGAN截断得23.3%，高于ProGAN 14.8%、BEGAN 14.5%和WGAN-GP 13.2%。ImageNet中柠檬、Samoyed和图书馆较易生成，French horn与棒球运动员得分普遍很低。
应用场景
研究团队可将HYPE用于训练检查点选择、采样技巧比较、论文中的人类效度验证和模型发布前审计。平台化部署还可让不具备心理实验设施的团队上传模型并获得统一分数。实际使用需固定真实数据集、采样先验、类别比例和评审者资格标准，避免跨实验误读。
局限与展望
HYPE的“超真实”只表示相对训练数据的误判率超过50%，不等于图像比现实更真实。评审者来自Mechanical Turk，可能不代表全球用户；低分辨率CIFAR-10和类别难度也会影响判断。HYPEtime受浏览器呈现限制，且当前实验主要针对GAN和静态图像。未来需扩展至扩散模型、视频、文本和音乐，并建立跨文化、跨平台校准。
通俗解读 非专业人士也能看懂
把HYPE想成一家鉴定仿制品的商店。店里同时摆放真的商品和工厂仿造的商品，请顾客判断每件是真是假。若顾客一眼就识破，仿品得分很低；若顾客经常把仿品当真，说明工厂做得更像。
HYPEtime像把商品快速闪过：先给顾客较长时间，再逐渐缩短，直到他刚好还能保持大约四分之三的正确率。这个时间越长，说明仿品越逼真。HYPE∞则更简单，不限时间看100件商品，统计顾客总共错了多少次；错得越多，真假越难分。
为了公平，研究者先准备5000张候选仿品和5000张真品，筛掉随便乱猜的顾客，并让约30人独立判断。最后还反复重新抽人计算区间，检查结果是否稳定。结果显示，StyleGAN在CelebA上的仿真效果远好于BEGAN和WGAN-GP；但在更难的CIFAR-10和French horn任务上，所有模型都更容易被识破。
简单解释 像给14岁少年讲一样
想象你在玩“真人还是AI”游戏：屏幕一张张出现脸、狗、柠檬或号角，你要按按钮猜答案。以前研究者常用电脑分数判断图片好不好，但电脑的“审美”不一定像人；不同研究者让人玩的规则也不一样，结果自然会乱。
HYPE就是把游戏规则固定下来。它有一个快闪模式：图片只出现很短时间，系统会自动调节时间，找到你刚好能判断的速度。还有一个不限时模式：看50张真图和50张假图，统计你猜错的比例。错得越多，AI图片越像真的；50%表示你几乎只能靠猜。
研究者让30名经过测试的玩家参加。CelebA人脸任务中，StyleGAN截断版本骗过玩家50.7%，ProGAN为40.3%，BEGAN只有10.0%。在FFHQ上，截断版StyleGAN也比普通采样更难识别。这个方法还能观察训练进度：模型训练越久，分数从29.5%升到50.3%。
不过，这不代表AI已经完美。评测只看静态图片，而且“真实”是相对于数据集而言的。一个模型可能很会生成脸，却不会生成号角。未来可以把这套游戏扩展到视频、音乐、文字和更复杂的AI系统。
术语表
HYPE (Human eYe Perceptual Evaluation，人类视觉感知评估)
一种以人类判断为核心的生成真实性基准。它通过曝光阈值或误判率测量生成图像与真实图像的感知差异。
论文的总体评测框架，包含HYPEtime和HYPE∞。
HYPEtime（时间阈值评估）
在不同曝光时长下测试人类辨别真假所需的最短时间。阈值越高，说明图像越难被识别为生成结果。
采用自适应阶梯和视觉掩蔽，曝光范围为100—1000ms。
HYPE∞（无限时间评估）
不限时真假分类任务中的总体错误率。50%表示达到随机判断，超过50%表示相对训练数据的超真实。
作为HYPEtime的低成本替代，每人判断100张图像。
Adaptive staircase（自适应阶梯法）
根据答题正确与否动态改变刺激难度的心理物理学方法。本文采用3-up/1-down规则，近似估计75%准确率阈值。
用于HYPEtime的曝光时间控制。
Truncation trick（截断技巧）
限制生成采样噪声偏离中心区域，以牺牲部分多样性换取更高视觉质量。StyleGAN和BigGAN均测试了该策略。
FFHQ中ψ=0.7，ImageNet中BigGAN使用σ=0.5。
FID/KID
FID比较真实与生成图像特征分布的Fréchet距离；KID使用核方法估计分布差异并具有无偏特性。二者都是自动指标。
论文将其与HYPE的人类排序进行相关性比较。
开放问题 这项研究留下的未解疑问
- 1 HYPE能否稳定评估扩散模型、视频和多模态生成仍未知，因为时间连续性、语义一致性与单帧真实性并不等价。
- 2 不同文化、年龄和视觉经验的评审者是否会产生系统性差异，论文尚未充分分解这些人口统计因素。
- 3 如何把类别难度、数据集质量与评审者能力纳入统一统计模型，仍是提升跨任务可比性的关键。
应用场景
近期应用
生成模型训练监控
团队可在4k、9k、25k等训练节点运行HYPE∞，用约30名评审者判断视觉质量是否真实提升。它比单看FID更接近用户感知，并能比较不同采样技巧。
模型发布前审计
平台可固定真实样本、候选样本和资格门槛，对人脸、商品或合成数据模型进行统一测试。报告HYPE分数及95%置信区间，可辅助质量声明和风险审查。
远期愿景
多模态真实性标准
若扩展到视频、语音、文本和音乐，HYPE可能成为跨模态的人类感知质量接口。但需要新的刺激控制、领域专家和跨文化校准体系。
原文摘要
Generative models often use human evaluations to measure the perceived quality of their outputs. Automated metrics are noisy indirect proxies, because they rely on heuristics or pretrained embeddings. However, up until now, direct human evaluation strategies have been ad-hoc, neither standardized nor validated. Our work establishes a gold standard human benchmark for generative realism. We construct Human eYe Perceptual Evaluation (HYPE) a human benchmark that is (1) grounded in psychophysics research in perception, (2) reliable across different sets of randomly sampled outputs from a model, (3) able to produce separable model performances, and (4) efficient in cost and time. We introduce two variants: one that measures visual perception under adaptive time constraints to determine the threshold at which a model's outputs appear real (e.g. 250ms), and the other a less expensive variant that measures human error rate on fake and real images sans time constraints. We test HYPE across six state-of-the-art generative adversarial networks and two sampling techniques on conditional and unconditional image generation using four datasets: CelebA, FFHQ, CIFAR-10, and ImageNet. We find that HYPE can track model improvements across training epochs, and we confirm via bootstrap sampling that HYPE rankings are consistent and replicable.