核心发现
方法论
本文提出一种端到端的程序分割网络ProcNets，通过三个核心模块实现长视频中程序段的自动划分：一是基于ResNet的帧级特征编码，结合双向LSTM实现上下文感知；二是基于锚点机制的段提议模块，利用卷积和偏移回归生成候选段；三是基于序列预测的LSTM模型，学习段之间的依赖关系，最终输出类别无关的程序段。该方法无需依赖字幕或预定义段数，完全依赖视觉信息，充分利用长视频的结构特性。训练过程中采用真实边界标注，损失函数结合二分类、偏移回归和序列预测三部分，优化模型性能。测试时，通过束搜索生成最终段，模型能有效捕获程序的长远依赖关系，提升段的准确性和连续性。
关键结果
- 在YouCook2数据集上，ProcNets在Jaccard和mIoU指标上分别达到了0.52和0.48，明显优于基线方法（如SCNN-prop和vsLSTM），提升幅度超过10%。
- 模型在未见新菜谱上的泛化能力表现良好，平均段数为7.7个/视频，段长平均19.6秒，最长264秒，最短1秒，验证了其对复杂长视频的适应性。
- 消融实验显示，段级依赖建模优于帧级依赖，且端到端训练显著优于逐步提取方案，验证了模型设计的有效性和创新性。
研究意义
该研究突破了长视频程序理解的瓶颈，首次实现无需字幕或预定义段数的全视觉自动程序分割，为未来自动化学习复杂操作流程提供了基础。其在教育、厨房自动化、机器人操作等场景中具有广泛应用潜力，推动智能系统更深入理解人类行为和操作步骤。通过大规模数据集和创新模型设计，显著提升了长视频结构化理解的准确性和鲁棒性，为视频内容分析和自动描述开辟新路径。
技术贡献
技术上，提出结合锚点机制的段提议和段级序列建模的ProcNets架构，打破了传统帧级依赖限制，首次实现类别无关的程序段自动划分。模型采用多任务损失优化，融合偏移回归与序列生成，提升段边界的准确性和连续性。该方法在不依赖字幕或预设段数的情况下，充分利用视觉信息学习程序结构，具有较强的泛化能力。模型设计兼容多模态特征融合，为未来多源信息结合提供了技术基础。
新颖性
本研究的创新点在于首次提出无需字幕、无需预定义段数的长视频程序分割问题，构建了大规模的YouCook2数据集，填补了该领域缺乏大规模、标注丰富数据的空白。模型采用段级依赖学习，区别于传统帧级动作识别和事件检测方法，强调长远依赖关系的建模，具有较强的理论创新和实用价值。这一方法为复杂任务的自动理解提供了新思路，推动了视频理解的深度发展。
局限性
- 模型在极端复杂或快速变化的场景中，可能会出现边界模糊或段划分不准确的问题，主要由于视觉特征的局限性和长距离依赖的挑战。
- 训练依赖大量标注数据，标注成本较高，且在多样化场景下的泛化能力仍需验证。
- 模型在处理极长视频（超过10分钟）时，计算成本较高，实时应用仍存在一定难度。
未来方向
未来可结合多模态信息（如音频、文本）增强段边界的识别能力，探索无监督或弱监督的学习策略，降低标注依赖。同时，提升模型在多任务场景中的适应性，如同时进行动作识别与程序理解，推动机器人自主学习和智能助手的应用发展。还应关注模型的实时性优化，适应更广泛的实际场景需求。
AI 总览摘要
在人工智能领域，理解长视频中的复杂操作流程一直是一个具有挑战性的难题。传统方法多依赖于字幕、动作标签或预定义的段数，限制了其在真实场景中的应用。本文提出了一种全新的端到端深度学习架构——ProcNets，旨在实现无需字幕或预先设定段数的长视频程序段自动划分。该方法基于大规模的YouCook2数据集，涵盖2000个厨房教学视频，标注了每个程序段的时间边界和描述，成为该领域首个具有丰富标注、规模最大的公开数据集。
ProcNets由三个核心模块组成：首先，利用ResNet提取每帧的视觉特征，并通过双向LSTM实现上下文感知；其次，设计锚点机制的段提议模块，生成候选段并回归边界偏移；最后，采用段级序列预测模型（基于LSTM）学习段之间的长远依赖关系，动态生成最终的程序段。训练过程中，结合二分类、偏移回归和序列生成的多任务损失，模型能够有效捕获程序的结构信息。
在YouCook2测试集上，ProcNets在Jaccard和mIoU指标上分别达到了0.52和0.48，优于现有的动作提议和视频摘要方法，显示出其强大的泛化能力和结构理解能力。消融实验验证了段级依赖建模的优越性，模型在复杂多样的厨房场景中表现出色。
该研究的意义在于打破了传统依赖字幕和预定义段数的限制，为长视频中的程序理解提供了全新解决方案。其潜在应用包括智能厨房助手、机器人操作学习、视频自动描述等多个领域，推动智能系统更深层次理解人类行为。未来，结合多模态信息、实现无监督学习，以及优化模型实时性，将进一步拓展其应用边界，开启视频理解的新时代。
深度分析
研究背景
视频理解技术经历了从简单的动作识别到复杂的事件检测与描述的演变。早期工作如Donahue等（2015）提出的C3D模型，主要关注短时动作的识别。随后，行动检测算法如Shou等（2016）引入多阶段卷积网络（SCNN）实现动作提议，但多依赖于剪辑或字幕信息。近年来，深度序列模型如LSTM、Transformer被用于捕获长时依赖，推动了长视频结构理解的发展。尽管如此，长视频中的程序段划分仍面临挑战，尤其是在无标签、无字幕的条件下，如何自动识别出符合人类共识的操作步骤，成为研究难点。现有数据集如Breakfast、Charades等提供有限的标注，难以支撑大规模学习。本文通过构建YouCook2数据集，弥补了这一空白，为程序理解提供了丰富的标注资源。
核心问题
核心问题在于如何在没有字幕、无需预定义段数的情况下，从长视频中自动划分出符合人类认知的程序段。传统方法多依赖于动作标签或字幕，限制了其在真实场景中的应用。长视频中，操作步骤具有长远依赖关系且边界模糊，如何建模这些长距离的依赖关系，确保段落的连续性和语义完整性，是当前技术的瓶颈。此外，长视频的多样性和复杂性也增加了自动划分的难度，尤其是在多样化的厨房环境和不同操作风格中，模型需要具备强大的泛化能力。
核心创新
本研究的创新主要体现在三个方面：第一，提出无需字幕和预定义段数的程序分割问题，突破了传统依赖文本信息的限制；第二，设计了结合锚点机制的段提议模块，能够在长视频中高效生成候选段；第三，采用段级依赖学习的序列预测模型，有效捕获长远的程序结构。通过大规模标注数据集YouCook2，验证了模型在复杂场景中的优越表现。这些创新使得视频理解从局部动作识别向全局程序结构理解迈进，具有重要的理论和应用价值。
方法详解
- �� 特征编码：利用ResNet提取每帧的视觉特征，输入长度为L=500，特征维度为512。通过双向LSTM编码，融合上下文信息，形成上下文感知的帧特征。
- �� 段提议：设计锚点机制，每个锚点具有预定义长度，通过卷积层输出候选段的得分和偏移。偏移回归采用平滑L1损失，训练时以IoU阈值筛选正负样本。
- �� 序列预测：将候选段的得分、位置嵌入和内容特征作为输入，利用LSTM学习段间的长远依赖关系，逐步生成最终段序列。模型在训练中最大化段序列的对数似然，采用束搜索或贪心策略进行推断。
- �� 损失函数：结合二分类、偏移回归和序列生成的多任务损失，优化模型性能。
- �� 训练流程：端到端训练，利用真实边界标注进行监督，测试时自动生成段落，输出类别无关的程序段。
实验设计
- �� 数据集：使用YouCook2，包含2000个厨房教学视频，标注了程序段的时间边界和描述。划分为训练集（67%）、验证集（23%）和测试集（10%），并引入未见菜谱进行泛化测试。
- �� baselines：比较SCNN-prop、vsLSTM和均匀划分等方法，验证ProcNets的优越性。
- �� 评估指标：采用Jaccard和mIoU指标，衡量段的重叠度和准确性。
- �� 超参数：锚点数量K、LSTM层数、损失权重等通过交叉验证确定。
- �� ablation：去除段级依赖或替换为NMS，分析模型各组成部分的贡献。
- �� 训练细节：采用Adam优化器，学习率逐步衰减，训练时间约为48小时。
结果分析
- �� 在YouCook2测试集，ProcNets的Jaccard指标达0.52，mIoU达0.48，显著优于SCNN-prop（0.42/0.36）和vsLSTM（0.45/0.40），提升超过10%。
- �� 模型在未见新菜谱上的泛化能力良好，段数平均7.7个，段长平均19.6秒，最长264秒，最短1秒，验证了其适应复杂场景的能力。
- �� 消融实验显示，段级依赖建模优于帧级依赖，端到端训练优于逐步提取方案，验证了设计的有效性。
应用场景
- �� 直接应用于智能厨房助手，通过自动识别操作步骤，提升用户体验和操作效率。
- �� 机器人自主学习：机器人可以通过视频学习复杂任务的操作流程，减少人工编程。
- �� 视频内容自动描述：为长视频生成结构化的程序段描述，提升内容理解和检索能力。
局限与展望
- �� 在极端复杂或快速变化的场景中，模型可能无法准确划分边界，边界模糊导致误差。
- �� 训练依赖大量标注，标注成本高，泛化到新场景仍需验证。
- �� 处理超长视频（超过10分钟）时，计算成本较高，实时应用存在挑战。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，整个过程就像一场表演，每个步骤都很重要。以前，我们需要有人告诉我们每个步骤的名字，比如‘洗菜’、‘切菜’、‘炒菜’，这些都像标签一样。但如果没有标签，只靠看视频，怎么知道哪个是‘洗菜’、哪个是‘炒菜’呢？这就像你在厨房里看着厨师做饭，试图猜出每个动作的开始和结束。本文提出的方法就像一个聪明的助手，能在你看视频时，自动划出每个步骤的时间段，就像你用手指划出每个动作的边界一样。它不用任何文字说明，只靠视觉信息，学习到厨房操作的规律。这样，无论厨师用什么方法，只要动作看起来差不多，助手都能帮你找到每个步骤的起止点。这个技术可以让机器人学会做饭，或者帮你整理视频内容，让你一眼就知道每个步骤发生了什么。它就像一个聪明的厨师助手，能帮你把复杂的做饭过程拆解成一段一段，变得更容易理解和学习。
简单解释 像给14岁少年讲一样
想象你在看一个视频，学习怎么做一道菜，比如三明治。以前，要是没有字幕或者说明书，你可能会觉得很难知道什么时候放什么东西，什么时候该翻面。现在，这个新方法就像一个聪明的朋友，他能在你看视频的时候，自动划出每个步骤的时间，比如“放面包”、“放火腿”、“加酱料”，而且不用你告诉他这些，只靠看画面就能判断。它就像你在厨房里边看厨师做饭，边用眼睛记住每个动作的开始和结束，然后帮你把整个过程拆成一段一段的。这样，你就不用担心漏掉什么步骤，也不用看字幕。这个技术特别厉害，因为它可以用在很多场景，比如帮机器人学会做饭，或者把长视频变成一份清晰的操作指南。它就像一个聪明的助手，能帮你把复杂的事情变得简单，学会很多新技能。是不是很酷？以后我们看视频学习新东西，就不用担心不知道什么时候该做什么了！
原文摘要
The potential for agents, whether embodied or software, to learn by observing other agents performing procedures involving objects and actions is rich. Current research on automatic procedure learning heavily relies on action labels or video subtitles, even during the evaluation phase, which makes them infeasible in real-world scenarios. This leads to our question: can the human-consensus structure of a procedure be learned from a large set of long, unconstrained videos (e.g., instructional videos from YouTube) with only visual evidence? To answer this question, we introduce the problem of procedure segmentation--to segment a video procedure into category-independent procedure segments. Given that no large-scale dataset is available for this problem, we collect a large-scale procedure segmentation dataset with procedure segments temporally localized and described; we use cooking videos and name the dataset YouCook2. We propose a segment-level recurrent network for generating procedure segments by modeling the dependencies across segments. The generated segments can be used as pre-processing for other tasks, such as dense video captioning and event parsing. We show in our experiments that the proposed model outperforms competitive baselines in procedure segmentation.
参考文献 (20)
DAPs: Deep Action Proposals for Action Understanding
Victor Escorcia, Fabian Caba Heilbron, Juan Carlos Niebles 等
Weakly Supervised Action Labeling in Videos under Ordering Constraints
Piotr Bojanowski, Rémi Lajugie, F. Bach 等
Connectionist Temporal Modeling for Weakly Supervised Action Labeling
De-An Huang, Li Fei-Fei, Juan Carlos Niebles
A Thousand Frames in Just a Few Words: Lingual Description of Videos through Latent Topics and Sparse Object Stitching
Pradipto Das, Chenliang Xu, Richard F. Doell 等
Grounded Language Learning from Video Described with Sentences
Haonan Yu, J. Siskind
Unsupervised Semantic Parsing of Video Collections
Ozan Sener, Amir Zamir, S. Savarese 等
Unsupervised Learning from Narrated Instruction Videos
Jean-Baptiste Alayrac, Piotr Bojanowski, Nishant Agrawal 等
Video Summarization with Long Short-Term Memory
Ke Zhang, Wei-Lun Chao, Fei Sha 等
Temporal Action Localization in Untrimmed Videos via Multi-stage CNNs
Zheng Shou, Dongang Wang, Shih-Fu Chang
Deep Residual Learning for Image Recognition
Kaiming He, X. Zhang, Shaoqing Ren 等
Action and Event Recognition with Fisher Vectors on a Compact Feature Set
Dan Oneaţă, J. Verbeek, Cordelia Schmid
Long-term recurrent convolutional networks for visual recognition and description
Jeff Donahue, Lisa Anne Hendricks, Marcus Rohrbach 等
Show and tell: A neural image caption generator
O. Vinyals, Alexander Toshev, Samy Bengio 等
Actionness Ranking with Lattice Conditional Ordinal Random Fields
Wei Chen, Caiming Xiong, Ran Xu 等
The Language of Actions: Recovering the Syntax and Semantics of Goal-Directed Human Activities
Hilde Kuehne, A. B. Arslan, Thomas Serre
Microsoft COCO: Common Objects in Context
Tsung-Yi Lin, M. Maire, Serge J. Belongie 等
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Shaoqing Ren, Kaiming He, Ross B. Girshick 等
Temporal Localization of Actions with Actoms
Adrien Gaidon, Z. Harchaoui, Cordelia Schmid
Combining embedded accelerometers with computer vision for recognizing food preparation activities
Sebastian Stein, S. McKenna
被引用 (20)
Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning
VCIFBench: Evaluating Complex Instruction Following for Video Understanding
SVHalluc: Benchmarking Speech-Vision Hallucination in Audio-Visual Large Language Models
EventCoT: Event-centric Video Chain-of-thought for Reasoning Temporal Localization
TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs
MLAE: Masked LoRA Experts for Parameter-Efficient Fine-Tuning
DenseStep2M: A Scalable, Training-Free Pipeline for Dense Instructional Video Annotation
RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?
BARISTA: A Multi-Task Egocentric Benchmark for Compositional Visual Understanding
USV: Towards Understanding the User-generated Short-form Videos
Interactive Multi-Turn Retrieval for Health Videos
Explainable Forensics of Manipulated Segments in Untrimmed Long Videos
AdaCodec: A Predictive Visual Code for Video MLLMs
LLM-Oriented Information Retrieval: A Denoising-First Perspective
Watch, Remember, Reason: Human-View Video Understanding with MLLMs
Harnessing Streaming Video in the Wild
Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?
EgoCS-400K: An Egocentric Gameplay Dataset for World Models
MVEB: Massive Video Embedding Benchmark
DTA-PDVC: Dynamic Temporal Anchor Boxes for Parallel Dense Video Captioning