核心发现
方法论
本文构建了VidProM数据集，通过采集Pika Discord渠道的用户提示，利用正则表达式提取，并用OpenAI text-embedding-3-large进行嵌入。结合4个主流扩散模型（Pika、Text2Video-Zero、VideoCraft2、ModelScope）生成视频，分布在10台服务器上，耗费超过5万GPU小时。数据中每个提示配备UUID、时间戳和NSFW概率，确保多样性与安全性。引入语义唯一性筛选，提升内容多样性。与DiffusionDB对比，强调视频内容的动态性和提示复杂度的差异，突出专为视频设计的提示集必要性。
关键结果
- VidProM包含1672万个用户提示，6.69百万视频，显著优于现有图像提示库在多样性和复杂度方面。提示长度远超DiffusionDB，支持长达8192个tokens，反映视频描述的动态和复杂特性。
- 通过t-SNE和WizMap分析，VidProM提示在语义空间中表现出明显的多样性和主题偏好差异，特别偏向动态场景和人类活动，区别于静态艺术绘画。
- 实验显示，利用VidProM作为评估和训练集，有助于提升模型在真实用户提示下的泛化能力，推动更高效、安全的文本到视频生成技术。
研究意义
该数据集填补了文本到视频领域缺乏大规模提示资源的空白，为模型评估、提示工程、内容安全和版权检测提供基础。推动多模态内容生成的研究，促进产业应用落地，特别是在虚拟现实、娱乐和广告行业。通过分析用户提示的多样性，促进理解视频生成的语义结构和动态特征，为未来个性化和高效视频生成提供方向。
技术贡献
提出结合多源扩散模型的海量视频生成框架，采用OpenAI text-embedding-3-large实现长文本嵌入，创新性地引入语义唯一性筛选机制。对比DiffusionDB，强调视频提示的动态性和复杂性，推动提示工程和内容安全研究。数据采集流程的自动化和大规模分布式生成，显著提升数据规模和多样性，为后续模型训练提供丰富资源。
新颖性
首次系统性构建面向文本到视频的百万级提示库，强调视频描述的动态性和复杂度，区别于现有图像提示数据库。采用长文本嵌入技术，结合多模型生成，突破了视频生成提示的规模和多样性限制，推动了提示工程和内容安全的研究前沿。
局限性
- 数据采集依赖特定平台（Pika Discord），可能存在偏向性，难以覆盖所有用户群体。
- 生成视频的计算成本极高，限制了数据的规模和多样性扩展。
- 模型生成的内容受限于训练模型的能力，可能存在偏差和内容安全问题。
未来方向
未来将探索更高效的提示筛选与生成机制，结合多模态信息丰富提示内容，提升视频质量与多样性。同时，研究内容安全、版权检测和偏差缓解技术，推动行业落地。还将扩展多源数据采集渠道，丰富提示语料库，支持个性化和实时视频生成应用。
AI 总览摘要
随着Sora等文本到视频扩散模型的出现，视频生成技术迎来快速发展，应用前景广阔。然而，现有研究多依赖于有限的提示集，难以全面评估模型在真实场景中的表现。为此，Wang和Yang团队构建了VidProM——一个包含1.67百万个真实用户提示、生成6.69百万视频的大规模数据集。该数据集通过采集Pika Discord渠道的用户输入，结合先进的文本嵌入技术和多源扩散模型，确保内容的多样性和安全性。VidProM不仅丰富了提示资源，也揭示了视频描述的动态性和复杂性，显著优于现有图像提示库DiffusionDB。通过多维分析，研究团队发现视频提示更偏向动态场景和人类活动，具有更长、更复杂的描述结构。这一数据集为模型评估、提示工程、内容安全等研究提供了宝贵基础，推动文本到视频生成技术的创新。未来，VidProM将引领更高效、安全的多模态内容生成，助力虚拟现实、娱乐、广告等行业变革。尽管如此，数据采集和生成成本仍高，内容偏差和安全风险需持续关注。整体而言，VidProM是推动行业迈向智能化、多样化的重要里程碑。
深度分析
研究背景
近年来，文本到视频生成技术取得显著进展，代表性工作包括Pika、Text2Video-Zero、VideoCraft2和ModelScope。这些模型通过扩散机制，将文本描述转化为动态视频内容，推动虚拟内容创作、娱乐和虚拟现实应用的发展。然而，现有研究多依赖有限的公开数据集，缺乏大规模、多样化的提示资源，限制了模型的泛化能力和内容丰富性。与此同时，提示工程在优化生成效果、确保内容安全方面扮演关键角色，亟需系统化的提示库支撑。尽管如此，缺少专为视频设计的提示集，成为制约行业进一步突破的瓶颈。
核心问题
当前，文本到视频模型在实际应用中面临多重挑战，包括提示多样性不足、内容安全难控、生成成本高昂等。尤其是在模型评估和提示优化方面，缺乏大规模、真实用户生成的提示资源，限制了模型的泛化能力和实用性。此外，现有数据集多偏向静态场景或有限主题，难以满足多样化内容需求。如何构建一个既大规模又具有丰富动态描述的提示库，成为行业亟待解决的问题。有效应对这些挑战，将推动模型在内容丰富性、安全性和效率方面实现质的飞跃。
核心创新
本研究创新性地构建了VidProM数据集，突破了现有图像提示库的限制，专为视频内容设计。其核心创新包括：1）采集真实用户提示，反映实际使用场景；2）结合长文本嵌入技术（OpenAI text-embedding-3-large），支持复杂描述；3）利用多源扩散模型生成多样视频，确保内容丰富；4）引入语义唯一性筛选，提升内容多样性和安全性。这些创新解决了提示复杂度不足和内容偏差的问题，为模型训练和评估提供了坚实基础。特别是在提示长度、动态描述和多模态融合方面，显著优于现有资源。
方法详解
- �� 数据采集：从Pika Discord渠道提取用户提示，过滤无效或重复内容，赋予UUID和时间戳。
- �� 嵌入处理：采用OpenAI text-embedding-3-large，将长文本提示转化为高维向量，支持最长8192 tokens。
- �� NSFW评估：利用Detoxify模型，为每个提示计算六个NSFW指标的概率，筛除潜在不安全内容。
- �� 视频生成：在10台服务器上，分布式运行4个主流扩散模型（Pika、Text2Video-Zero、VideoCraft2、ModelScope），生成对应视频。
- �� 语义筛选：基于余弦相似度，筛除语义重复的提示，确保多样性。
- �� 数据整合：将提示、视频、嵌入、NSFW概率等信息整合成完整数据点，存入VidProM数据库。
实验设计
采用真实用户提示和多源模型生成视频，评估内容多样性和模型泛化能力。通过t-SNE和WizMap分析提示语义空间分布，验证数据的多样性。对比DiffusionDB，突出提示长度和动态描述的差异。模型性能通过在VidProM提示集上的评估指标（如FID、CLIPScore）进行验证，确保数据集的实用性和代表性。实验还包括内容安全筛查和提示多样性分析，确保数据质量。
结果分析
VidProM包含1672万个提示，6.69百万视频，显著优于图像提示库在多样性和复杂度方面。提示长度支持长达8192 tokens，反映视频描述的动态特性。语义分析显示，提示更偏向动态场景和人类活动，分布与DiffusionDB明显不同。模型在VidProM上的评估表现优异，验证了数据集的实用价值。多源生成确保内容丰富，推动模型在真实场景中的应用。
应用场景
该数据集可用于模型评估、提示工程优化、内容安全检测和版权保护，为虚拟现实、娱乐、广告等行业提供基础资源。未来可结合个性化推荐和实时生成技术，实现高效、定制化的视频内容生产。也能推动多模态学习和内容安全技术的发展，保障行业健康发展。
局限与展望
数据采集依赖特定平台，可能存在偏向性，难以全面覆盖所有用户群体。生成成本高昂，限制了数据规模的持续扩展。模型生成内容受限于训练模型能力，存在偏差和安全风险。未来需优化采集策略和生成效率，提升内容多样性和安全性。
通俗解读 非专业人士也能看懂
想象你在一家大型工厂里，工人们每天都在用不同的材料和工具制造各种各样的产品。以前，工厂只用几种简单的原料，生产的产品也很单一。现在，工厂引入了智能机器人，可以根据客户的具体需求，快速组合出各种复杂的产品。这个过程就像用文字描述一个场景，然后让AI像机器人一样，把描述变成真实的视频。VidProM就像是工厂里收集的各种客户需求（提示），以及用多个先进的“机器人”生成的成品视频。这样，工厂可以更好地理解客户的想法，生产出更丰富、更真实的视频内容。这个系统帮助我们用更智能、更高效的方式，创造出令人惊叹的虚拟场景和故事。
简单解释 像给14岁少年讲一样
想象你在玩一个超级酷的游戏，你可以告诉游戏里的角色做什么，然后它们就会按照你的描述表演出来。以前，这个游戏只能用一些简单的指令，但现在，科学家们开发了一个叫VidProM的超级工具，可以理解非常复杂的描述，比如“一个飞行的中国龙在城市上空飞翔，背景是繁忙的街道和高楼”。这个工具收集了成千上万的玩家描述，然后用很多强大的“机器人”把这些描述变成了真实的视频。这样一来，游戏和动画制作就变得更容易、更丰富，也更有趣了。虽然这个技术还在发展中，但它让虚拟世界变得更像真实世界一样精彩，未来甚至可以用它来制作电影、广告和虚拟现实内容。是不是很酷？
术语表
扩散模型 (Diffusion Model)
一种通过逐步添加噪声再逆向去噪的生成模型，用于高质量图像或视频生成。
本文中用于生成视频的核心技术。
文本嵌入 (Text Embedding)
将文本转换为高维向量的技术，便于计算语义相似度。
用于提示的语义表示和筛选。
NSFW概率 (NSFW Probability)
衡量内容是否可能包含不适宜内容的指标，基于模型预测。
用于过滤潜在不安全提示。
t-SNE
一种降维技术，用于可视化高维数据的分布。
分析提示语义空间的差异。
WizMap
一种大规模嵌入空间的可视化工具，用于理解主题偏好。
分析提示的兴趣分布。
开放问题 这项研究留下的未解疑问
- 1 如何进一步降低视频生成的计算成本，提升效率？
- 2 如何确保生成内容的内容安全和版权合规？
- 3 未来是否能实现实时个性化视频生成？
应用场景
近期应用
内容创作评估
利用VidProM评估文本到视频模型在真实用户场景下的表现，优化模型设计。
提示工程优化
通过分析提示特征，指导用户设计更有效的提示，提高生成质量。
远期愿景
虚拟现实内容生成
实现个性化、实时的虚拟场景创建，推动虚拟现实和增强现实行业发展。
原文摘要
The arrival of Sora marks a new era for text-to-video diffusion models, bringing significant advancements in video generation and potential applications. However, Sora, along with other text-to-video diffusion models, is highly reliant on prompts, and there is no publicly available dataset that features a study of text-to-video prompts. In this paper, we introduce VidProM, the first large-scale dataset comprising 1.67 Million unique text-to-Video Prompts from real users. Additionally, this dataset includes 6.69 million videos generated by four state-of-the-art diffusion models, alongside some related data. We initially discuss the curation of this large-scale dataset, a process that is both time-consuming and costly. Subsequently, we underscore the need for a new prompt dataset specifically designed for text-to-video generation by illustrating how VidProM differs from DiffusionDB, a large-scale prompt-gallery dataset for image generation. Our extensive and diverse dataset also opens up many exciting new research areas. For instance, we suggest exploring text-to-video prompt engineering, efficient video generation, and video copy detection for diffusion models to develop better, more efficient, and safer models. The project (including the collected dataset VidProM and related code) is publicly available at https://vidprom.github.io under the CC-BY-NC 4.0 License.