ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions
ThoughtTrace通过收集用户自报思想，提升多轮人机交互理解与模型对齐，分析显示思想难以由模型推断，内容丰富。
核心发现
方法论
ThoughtTrace采用自然对话平台，结合用户自主标注思想，涵盖20种语言模型，收集1058用户、2155对话、17058轮及10174思想注释。数据包括多轮对话、用户背景信息及思想类别，分析其在对话中的分布、内容多样性及阶段依赖性。思想被定义为反应与理由两类，区别于消息内容，且难以由前沿大模型推断。通过embedding差异、语义覆盖评分及模型推断，验证思想的独立性与复杂性。思想用于用户行为预测和模型对齐，显著提升预测准确率（+41.7%）和对齐成功率（+25.6%）。
关键结果
- 思想内容涵盖任务动机、情感反应等多样类别，内容丰富且阶段依赖明显，长对话中扩展与深化比例达57%。思想难以由模型从上下文推断，模型推断平均相似度仅为2.93（满分5），显示其独特价值。思想能显著改善用户行为预测，预测相似度提升41.7%；同时，思想引导的重写在模型微调中提升对齐效果，胜率提升25.6%。
- 实验中，思想内容在不同对话阶段表现出不同的动态变化，早期偏向任务动机，中后期偏向任务延续，反应类型也随阶段变化，验证思想的阶段依赖性。思想内容的多样性和复杂性表明，单纯依赖消息难以捕获用户潜在意图，思想提供更丰富的信号，有助于提升模型理解和个性化能力。
研究意义
本研究首次系统性地将用户思想作为人机交互中的新模态，突破传统仅关注消息内容的局限。通过大规模真实数据，揭示思想在理解用户潜在目标、偏好和反应中的关键作用，为未来个性化、主动式AI助手提供理论基础和数据支撑。思想的引入有望改善模型的推理能力、增强用户满意度及信任感，推动人机交互向更智能、更贴合用户需求的方向发展。
技术贡献
提出ThoughtTrace数据采集框架，结合用户自主标注思想，构建多轮对话与思想配对大规模数据集。创新点在于将思想定义为反应与理由两类，区别于传统消息，验证其在模型预测和对齐中的实用性。利用embedding差异分析、语义覆盖评分和模型推断验证思想的独立性与复杂性，为思想驱动的用户建模提供基础。实验中，思想显著提升用户行为预测和模型微调的效果，展示其作为监督信号的潜力。
新颖性
首次大规模收集真实用户在多轮对话中的思想注释，突破以往仅依赖消息的局限。提出思想作为人机交互中的新模态，揭示其在内容丰富性、阶段依赖性和推断难度方面的独特优势。与现有工作侧重于消息内容或模拟用户行为不同，ThoughtTrace强调用户内在认知的动态变化，为理解人类认知机制提供新视角。
局限性
- 数据采集依赖用户自愿标注，存在主观偏差，可能影响思想的全面性和代表性。
- 思想难以由模型准确推断，当前模型仍存在推断偏差，限制其在实际应用中的效果。
- 对话场景主要集中在日常任务，尚未覆盖更复杂或专业领域的交互，泛化能力有待验证。
未来方向
未来将探索多模态数据融合，结合视觉、语音等信息丰富思想表达；提升模型推断思想的能力，减少对用户标注的依赖；扩展到专业领域和复杂任务，验证思想在多样场景中的适应性。还将研究思想在主动学习、个性化推荐及在线模型更新中的应用潜力，推动人机交互的深度认知理解。
AI 总览摘要
随着人工智能在日常生活中的普及，理解用户的潜在意图成为提升交互质量的关键。传统研究多关注用户的显性表达——即他们说了什么，但忽略了背后未被言明的思想。ThoughtTrace项目通过在真实多轮对话中引入用户自报思想，填补了这一空白。
该系统收集了1058名用户、2155场对话、17058轮交互，结合用户自主标注的思想类别，揭示了思想在对话中的多样性、阶段性变化及难以由模型推断的特性。思想被定义为反应和理由两类，内容丰富、内容多样，且在对话不同阶段表现出不同的动态特征。这些思想不仅反映用户的潜在需求，还能显著提升模型对用户行为的预测能力（提升41.7%），并为模型微调提供细粒度的对齐信号（提升25.6%成功率）。
研究显示，思想内容在不同对话阶段表现出不同的偏好和变化，早期偏向任务动机，中后期偏向任务延续，反应类型也随之调整。这些发现强调了思想作为人类认知的动态反映的重要性，为未来构建更具理解力和个性化的AI助手提供了理论基础。整体而言，ThoughtTrace不仅丰富了人机交互的认知模型，也为实现更智能、更贴合用户需求的人工智能系统奠定了基础。
深度分析
研究背景
近年来，随着生成式预训练模型（如GPT-4、PaLM）在对话系统中的广泛应用，研究逐渐关注对话的深层理解。早期工作如DSTC、PersonaChat等关注消息内容和用户偏好，强调多轮交互的重要性。然而，这些研究主要依赖于显式表达，忽略了用户潜在的认知状态。PRISM等尝试结合用户背景信息，但缺乏对内在思想的系统性捕获。近年来，模拟用户行为的研究（如UserSim）虽取得一定进展，但仍未解决思想难以直接观察的问题。ThoughtTrace通过引入用户自报思想，弥补了这一空白，提供了理解人类认知动态的新途径。
核心问题
现有对话数据多关注用户的显性表达，缺乏对潜在思想的系统性捕获。思想作为用户未言明的认知状态，难以由模型推断，限制了对话系统的理解深度。如何在大规模真实场景中有效收集、分析用户思想，成为提升模型理解和个性化能力的关键。尤其是在多轮复杂交互中，用户的潜在需求、情感反应和未表达的偏好对对话质量影响巨大，但缺乏有效的标注和分析工具，成为制约研究的瓶颈。
核心创新
本研究提出ThoughtTrace框架，创新点在于：1）引入用户自主标注思想的方法，结合多轮对话，构建大规模思想数据集；2）定义思想为反应与理由两类，区别于传统消息内容，强调其认知动态特性；3）利用embedding差异、语义覆盖和模型推断验证思想的独立性和复杂性，为思想驱动的用户建模提供理论基础。通过这些创新，突破了以往仅关注消息的局限，开启了认知动态研究的新方向。
方法详解
- �� 采集平台：利用Prolific招募用户，用户在对话中自主标注思想，包括反应和理由。
- �� 数据结构：每轮对话包括消息内容、时间戳、用户背景信息及思想标签，思想类别涵盖七类理由和五类反应。
- �� 数据分析：采用embedding差异分析，利用预训练模型（如BERT）计算思想与消息的语义距离，验证思想的独立性。
- �� 语义覆盖：通过LLM（如GPT-4）评估思想是否包含消息未表达的内容。
- �� 推断验证：用模型尝试推断用户思想，比较推断结果与用户标注的差异，验证思想的复杂性。
- �� 任务应用：将思想用于用户行为预测和模型微调，验证其实用性。
实验设计
在包含多种前沿模型（GPT-5.4、GEMINI 3.1、Claude Opus 4.6）的数据集上进行，评估思想对用户行为预测的提升（+41.7%），以及思想引导的模型微调效果（成功率提升25.6%）。采用多轮对话场景，分析思想在不同阶段的表现，验证其内容丰富性和阶段依赖性。对比消息与思想的推断难度，发现模型难以准确推断思想，强调思想的独特价值。还进行了内容多样性和模型推断能力的消融分析，确保结果的稳健性。
结果分析
思想内容涵盖任务动机、情感反应等多类别，内容丰富且在对话不同阶段表现出明显变化。模型推断思想的平均相似度仅为2.93（满分5），显示其复杂性。思想显著提升用户行为预测的准确性（+41.7%），同时在模型微调中引入思想引导的重写，成功率提升25.6%。这些结果验证了思想作为人类认知动态的有效信号，推动了个性化和主动式AI的发展。
应用场景
该数据集和分析框架可用于开发更理解用户潜在需求的对话系统，提升个性化推荐、主动式助手的能力。在客服、教育、医疗等领域，基于思想的用户建模能实现更贴合用户需求的服务。未来，结合多模态信息和在线学习，将使AI更好地理解复杂场景中的用户认知状态，推动智能交互的深度发展。
局限与展望
目前数据采集依赖用户自愿标注，存在主观偏差，影响思想的代表性。模型推断思想仍不够准确，限制实际应用效果。对话场景主要集中在日常任务，尚未覆盖专业或复杂场景，泛化能力有限。未来需提升推断模型的准确性和扩展多场景适应性，降低标注成本，增强系统的普适性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，厨师（AI）帮你准备食材，但你心里其实有很多想法，比如喜欢吃辣的、怕过敏、想快点完成。这些想法平时不说出来，但会影响你怎么选择食材和调味料。ThoughtTrace就像是让你在厨房里告诉厨师你的秘密想法，这样厨师就能更好地帮你做出符合你心意的菜。通过收集这些秘密想法，厨师可以学会更贴心地帮你准备饭菜，变得更懂你。它让AI像个贴心的厨师一样，知道你真正喜欢什么，避免误会，做出更合你心意的菜肴。
简单解释 像给14岁少年讲一样
想象你和朋友玩游戏，你们会说话、笑、互相挑战，但其实你心里还在想：我是不是赢得太容易了？我是不是太无聊了？这些想法没有说出口，但会影响你接下来怎么玩。ThoughtTrace就像是让你偷偷告诉朋友你的这些想法，这样朋友就能更好地理解你，和你一起玩得更开心。它帮AI也学会听懂这些“心里话”，让对话变得更贴心、更有趣。未来，这样的AI可以更懂你，帮你解决问题、陪你聊天，就像一个真正懂你的小伙伴一样。
原文摘要
Conversational AI has now reached billions of users, yet existing datasets capture only what people say, not what they think. We introduce ThoughtTrace, the first large-scale dataset that pairs real-world multi-turn human--AI conversations with users' self-reported thoughts: their reasons for sending prompts and reactions to assistant responses. ThoughtTrace comprises 1,058 users, 2,155 conversations, 17,058 turns, and 10,174 thought annotations collected across 20 language models. Our analysis shows that ThoughtTrace captures long-horizon, topically diverse interactions, and that thoughts are semantically distinct from messages, difficult for frontier LLMs to infer from context, diverse in content, and tied to conversation stages. We further demonstrate the utility of thoughts for downstream modeling. First, thoughts improve user-behavior prediction as inference-time context. Second, thought-guided rewrites provide fine-grained alignment signals for training personalized assistants. Together, ThoughtTrace establishes user thoughts as a new data modality for studying the cognitive dynamics behind human--AI interaction and provides a foundation for building assistants that better understand and adapt to users' latent goals, preferences, and needs.