See, Think, Act: Online Shopper Behavior Simulation with VLM Agents
结合视觉语言模型(VLM)进行网页截图与文本融合，提升线上购物行为模拟准确率超6%。
核心发现
方法论
本研究提出将视觉语言模型(VLM)引入在线购物行为模拟，结合SFT（监督微调）与RL（强化学习）优化策略。模型输入包括用户行为历史、HTML结构与网页截图，利用VLM实现文本与图像的联合编码。采用OPeRA数据集，经过数据预处理（如HTML剪裁与截图对齐），训练模型预测下一步行为及其理由。SFT通过最大化人类行为轨迹的似然，强化模型的推理能力；RL则引入分层奖励机制，按任务难度调整奖励，提升模型对复杂行为的理解。模型输出为结构化JSON，便于评估与解析。
关键结果
- 结合视觉信息的模型在精确匹配率上比纯文本模型提升超过6%，达到44.57%的准确率（SFT+RL），显著优于文本单模态的20.23%。多模态融合在复杂网页环境中增强了模型对细粒度行为（如按钮命名、输入内容）的理解能力。实验还显示，视觉输入在行为推理中的贡献高于单一文本输入，尤其在识别产品布局与界面元素方面表现优异。
- 模型在OPeRA数据集上经过多轮微调后，行动类型F1得分提升至57%以上，表明模型在行为类别识别上达到了较高的准确性。对比不同训练策略，RL显著改善了序列一致性，减少了“格式错误”输出比例，增强了模型的鲁棒性。多模态模型在长序列推理中表现优于纯文本模型，验证了视觉信息在复杂场景中的价值。
- 通过消融实验验证，图像输入在细粒度行为预测中的作用尤为关键，尤其在识别特定按钮和输入内容方面提升明显。模型在不同用户行为模式下均表现出较强的泛化能力，显示出多模态融合的潜力。整体结果证明，将视觉信息融入行为模拟，能更真实地反映人类决策过程，推动智能用户模拟技术的发展。
研究意义
本研究突破了传统纯文本行为模拟的局限，首次系统性结合网页截图与HTML结构，显著提升模拟的真实性与细节还原能力。多模态模型能更贴合人类在复杂网页环境中的认知与决策机制，为电子商务、用户体验优化等应用提供更精准的模拟工具。其技术创新在于融合深度学习、强化学习与多模态编码，为未来个性化推荐、虚拟助手等场景提供理论基础与实践路径。此外，研究还揭示了视觉信息在行为预测中的核心作用，推动多模态人工智能的发展方向。
技术贡献
本论文提出了结合VLM的行为模拟框架，创新性地将网页截图作为输入，与HTML文本共同编码，显著提升模型对视觉布局和界面元素的理解能力。采用SFT与RL相结合的训练策略，优化模型推理与行为生成的准确性与鲁棒性。特别是在奖励设计上引入难度感知机制，有效引导模型关注复杂决策点。数据预处理方面，提出HTML剪裁与截图对齐方案，确保多模态信息一致性。这些技术突破为多模态行为模拟提供了新思路，超越了以往纯文本方法的局限。
新颖性
本研究首次系统性将网页截图融入在线购物行为模拟，利用VLM实现文本与图像的联合理解，显著改善模型在复杂环境下的表现。与现有主要依赖文本的模型不同，本方法通过多模态融合，更贴近人类的认知过程。采用结合SFT与RL的训练策略，强化模型的推理与行为生成能力，特别是在细粒度任务中表现优异。该工作在行为模拟领域开辟了多模态融合的新路径，填补了视觉信息在用户行为模拟中的研究空白。
局限性
- 模型对网页截图的依赖可能在极端视觉复杂或遮挡严重的场景中表现不足，限制了其泛化能力。
- 数据集规模有限，难以覆盖所有用户行为多样性，存在一定的偏差风险。
- 当前模型在长序列行为预测中仍存在信息遗失问题，未来需优化长时上下文的编码策略。
未来方向
未来将探索多模态融合的更深层次机制，如引入时间动态建模与个性化特征，提升模型对不同用户行为的适应性。同时，考虑引入多模态数据增强与迁移学习，扩大模型的应用范围。此外，优化模型的推理效率与可解释性，将其应用于更广泛的实际场景中，如智能客服与虚拟导购。
AI 总览摘要
随着电子商务的快速发展，模拟真实用户行为成为提升个性化推荐与界面设计的关键。传统方法多依赖文本信息，忽视了网页视觉布局对用户决策的深远影响。本文提出结合视觉语言模型(VLM)，将网页截图与HTML文本融合，用于在线购物行为模拟。通过引入OPeRA数据集，结合监督微调(SFT)与强化学习(RL)，模型在行为预测的准确性上实现了超过6%的提升，达到44.57%的精确匹配率。多模态融合不仅增强了模型对复杂界面元素的理解，还显著改善了细粒度行为的识别能力。实验结果显示，该方法在行为类别识别与序列一致性方面优于纯文本模型，为未来智能用户模拟提供了新思路。该研究的核心创新在于多模态信息的深度结合与奖励机制的设计，为电子商务、用户体验优化等场景带来广泛应用潜力。然而，模型在视觉复杂场景下仍面临一定挑战，未来将通过多模态动态建模与个性化优化，推动行为模拟技术的持续发展。整体而言，本工作为构建更真实、更智能的用户行为模拟系统奠定了坚实基础，开启了多模态人工智能的新篇章。
深度分析
研究背景
随着互联网普及，网页界面设计日益复杂，用户行为模拟成为研究热点。早期多依赖规则或统计模型，缺乏深层理解。近年来，深度学习尤其是大规模语言模型(如GPT-3)的崛起，极大推动了行为模拟的发展。代表性工作包括利用LLMs进行行为轨迹生成、推理链增强等，但多局限于文本信息，忽略了网页的视觉布局。视觉信息在用户决策中扮演重要角色，尤其在电商场景中，商品图片、界面布局影响用户注意力与选择。近年来，VLMs（如CLIP、Florence）逐渐成为多模态理解的核心工具，为行为模拟提供新的可能。尽管如此，将视觉信息系统性融入行为模拟仍是新兴领域，尚缺乏大规模验证与系统性研究。
核心问题
现有行为模拟方法主要依赖文本信息，忽视网页视觉布局对用户行为的影响。这导致模型在复杂界面环境中表现不足，难以捕捉用户的视觉注意力与偏好。尤其在电商平台，商品图片、界面元素的视觉布局极大影响用户决策，但现有模型难以理解这些视觉线索。此外，纯文本模型在细粒度行为识别（如按钮命名、输入内容）方面存在明显局限。如何融合网页截图与HTML文本，提升模型对视觉界面的理解能力，成为亟待解决的问题。该问题的核心在于多模态信息的有效编码与融合，以及在大规模真实场景中的验证。
核心创新
本研究的创新点主要包括：1）引入VLM，将网页截图作为输入，与HTML文本共同编码，增强模型对界面布局的理解；2）采用结合SFT与RL的训练策略，分别优化行为预测的准确性与推理的合理性；3）设计难度感知奖励机制，鼓励模型关注复杂决策点，提升行为生成的细粒度与多样性；4）数据预处理方面，提出HTML剪裁与截图对齐方案，确保多模态信息一致性。这些创新突破了传统纯文本行为模拟的局限，显著提升模型在复杂网页环境中的表现，为多模态行为模拟提供了新范式。
方法详解
- �� 数据准备：利用OPeRA数据集，经过HTML剪裁与截图对齐，生成多模态输入。
- �� 模型架构：基于VLM（如Qwen-2.5-VL-3B-Instruct），融合文本与图像编码。
- �� 训练策略：
- SFT：最大化人类行为轨迹的似然，生成行为与理由。
- RL：引入分层奖励（如任务难度感知DARS），优化行为序列。
- �� 输入组成：包括历史行为、HTML结构、网页截图。
- �� 输出：结构化JSON，包含行为理由与行为动作。
- �� 训练细节：采用PyTorch FSDP，学习率2e-7（SFT）、2e-8（RL），训练100轮。
- �� 评价指标：精确匹配率、行为类别F1、格式正确率。
- �� Ablation：验证多模态融合、奖励机制对性能的影响。
实验设计
采用OPeRA数据集，包含692个用户会话，覆盖多样行为。模型在不同训练策略（零样本、SFT、SFT+RL）下进行评估。输入包括HTML剪裁版和网页截图，输出为行为预测。对比纯文本与多模态模型性能，重点关注精确匹配率和行为类别F1。实验还包括不同模型（Qwen、Claude）和不同输入组合的对比。参数设置为最大上下文25k tokens，训练轮次10（SFT）和100（RL），采用DARS奖励机制。模型在复杂网页环境中的表现优于纯文本模型，验证多模态融合的有效性。
结果分析
多模态模型在精确匹配率上达44.57%，比纯文本模型提升超20个百分点，验证了视觉信息的重要性。行为类别F1超过57%，显示出对行为类型识别的提升。细粒度行为（如按钮命名）识别效果显著优于单模态模型。RL训练进一步提升序列一致性，减少格式错误。消融实验显示，网页截图在识别界面布局、商品图片等方面贡献最大，验证了多模态融合的有效性。这些结果表明，视觉信息在模拟人类复杂行为中扮演关键角色。
应用场景
该技术可应用于电子商务平台的用户行为预测、界面优化、虚拟导购等场景。通过模拟真实用户行为，提升推荐系统的个性化与准确性。还可用于用户体验评估、虚拟用户生成、行为分析等。未来，结合个性化特征与动态网页内容，将推动智能推荐、虚拟助手等行业变革。
局限与展望
模型对复杂视觉场景的泛化能力有限，尤其在遮挡或极端视觉干扰下表现不足。数据规模有限，难以覆盖所有用户行为多样性。长序列行为预测仍存在信息遗失问题，未来需优化长时上下文建模。模型训练成本较高，实际部署面临效率挑战。未来应加强多模态信息融合机制，提升模型鲁棒性与泛化能力。
通俗解读 非专业人士也能看懂
想象你在一个非常繁忙的厨房里做饭。你不仅要看食谱（文本信息），还要观察厨房里的食材、锅碗瓢盆的位置（视觉信息），才能决定下一步做什么。以前的厨师只看食谱，忽略了厨房的实际环境，容易出错。现在，有了一个聪明的助手，它能同时看食谱和厨房的图片，帮你更快找到食材，做出更好吃的菜。这就像这篇论文，把网页的图片和文字结合起来，让电脑更像人一样理解网页，从而更准确地模拟用户的行为。它不仅能看懂网页布局，还能理解按钮、图片的作用，像一个真正懂网页的“厨师”。
简单解释 像给14岁少年讲一样
想象你在玩一个网页游戏，你不仅要看文字说明，还要注意图片和界面布局，才能知道下一步怎么做。以前的电脑程序只看文字，不能理解图片，所以做得不太像人。现在，这个新方法就像给电脑装了眼睛和大脑，让它同时看文字和图片，学习人类怎么在网页上操作。比如，点击按钮、滚动页面、看商品图片，都能更像真实用户。实验发现，这样的电脑能比只看文字的更准确预测用户的行为，准确率提高了6%以上。未来，这样的技术可以帮助电商平台更好地理解用户，提供更贴心的推荐和服务。它就像让电脑变得更聪明、更懂网页一样！
原文摘要
LLMs have recently demonstrated strong potential in simulating online shopper behavior. Prior work has improved action prediction by applying SFT on action traces with LLM-generated rationales, and by leveraging RL to further enhance reasoning capabilities. Despite these advances, current approaches rely on text-based inputs and overlook the essential role of visual perception in shaping human decision-making during web GUI interactions. In this paper, we investigate the integration of visual information, specifically webpage screenshots, into behavior simulation via VLMs, leveraging OPeRA dataset. By grounding agent decision-making in both textual and visual modalities, we aim to narrow the gap between synthetic agents and real-world users, thereby enabling more cognitively aligned simulations of online shopping behavior. Specifically, we employ SFT for joint action prediction and rationale generation, conditioning on the full interaction context, which comprises action history, past HTML observations, and the current webpage screenshot. To further enhance reasoning capabilities, we integrate RL with a hierarchical reward structure, scaled by a difficulty-aware factor that prioritizes challenging decision points. Empirically, our studies show that incorporating visual grounding yields substantial gains: the combination of text and image inputs improves exact match accuracy by more than 6% over text-only inputs. These results indicate that multi-modal grounding not only boosts predictive accuracy but also enhances simulation fidelity in visually complex environments, which captures nuances of human attention and decision-making that text-only agents often miss. Finally, we revisit the design space of behavior simulation frameworks, identify key methodological limitations, and propose future research directions toward building efficient and effective human behavior simulators.