核心发现
方法论
提出语义转移熵（STE）和语义部分信息分解（SPID），利用大语言模型（LLM）作为概率估计器，量化语义信息流动并分解多源信息为冗余、独特和协同成分。
关键结果
- STE检测认知僵化对话中信息流减少，灵活源对目标信息转移显著更强（0.52比0.46，p<0.001）。
- STE揭示说服者主导信息流动，从说服者到被说服者信息转移均值为1.70比0.05 bits/token。
- SPID显示论点支持的两个前提平均协同信息为0.32 bits/token，且随着前提数量增加冗余信息占比上升。
研究意义
该框架为研究语言交流中的信息动态提供了统一工具，可应用于数字对话、教育互动、临床对话等领域，解决现有方法无法同时量化方向性和多源贡献的问题。
技术贡献
首次将信息论工具STE和SPID应用于语义信息流分析，结合LLM实现概率估计，提供了对多源信息分解的理论支持和工程实现。
新颖性
首次提出STE和SPID框架，统一量化语义信息流动和多源贡献分解，解决现有方法无法同时处理方向性和多源信息的问题。
局限性
- STE对模型架构依赖较强，可能受LLM质量影响。
- SPID在多源场景中计算复杂度高，超过四个源时分解难以操作。
- 实验主要基于英语语料，跨语言适用性尚未验证。
未来方向
未来可扩展至多语言语料库验证STE和SPID的跨语言适用性，并优化SPID的计算效率以支持更多源的分解。
AI 总览摘要
语言交流中语义信息如何流动一直是未解决的问题。本研究提出信息论框架STE和SPID，利用大语言模型量化语义信息流动并分解多源贡献。实验显示STE能够检测认知僵化对话中信息流减少，揭示说服者主导信息流动，并区分高质量与低质量心理治疗中的信息方向性。SPID则揭示论点支持的前提间协同信息贡献，显示随着前提数量增加，冗余信息占比上升。这些发现为研究语言交流中的信息动态提供了新工具，具有广泛应用潜力。
STE通过屏蔽目标对源的注意力实现信息转移量化，SPID则通过对多源信息分解为冗余、独特和协同成分，揭示多源对目标语言的贡献结构。实验覆盖认知僵化对话、说服语料、心理治疗对话和论证性作文，验证了框架的理论意义和跨场景适用性。
尽管框架具有显著优势，但仍存在模型依赖性强、计算复杂度高等局限。未来研究可扩展至多语言场景，并优化算法以支持更多源的分解。
深度分析
研究背景
语言交流研究从词频统计到分布式语义再到上下文神经表示不断发展，但现有方法无法同时量化语义信息流动方向性和多源贡献。
核心问题
现有方法缺乏统一框架量化语义信息流动及多源贡献，无法解决复杂对话场景中的信息动态问题。
核心创新
提出STE和SPID框架，STE量化方向性信息流动，SPID分解多源信息为冗余、独特和协同成分，结合LLM实现概率估计。
方法详解
- �� STE通过屏蔽目标对源的注意力实现信息转移量化。
- �� SPID采用最小互信息冗余函数，分解多源贡献为冗余、独特和协同成分。
- �� 使用LLM估计语义信息流动概率。
实验设计
实验包括认知僵化对话、说服语料、心理治疗对话和论证性作文，验证STE和SPID的理论意义和跨场景适用性。
结果分析
STE检测认知僵化对话中信息流减少，灵活源对目标信息转移显著更强；SPID揭示论点支持的前提间协同信息贡献。
应用场景
可应用于数字对话分析、教育互动优化、临床对话质量评估等领域。
局限与展望
STE对模型架构依赖较强，SPID计算复杂度高，实验主要基于英语语料，跨语言适用性尚未验证。
通俗解读 非专业人士也能看懂
想象你和朋友聊天，朋友说了一个故事，你根据这个故事继续讨论。这就是STE的工作方式：它量化朋友的故事对你接下来的话语的影响。而SPID则像是分析两个朋友的故事如何共同影响你的话语，它可以分解出哪些信息是重复的，哪些是独特的，哪些是协同的。
简单解释 像给14岁少年讲一样
想象你在玩多人游戏，队友给你提示，你根据提示行动。这就是STE的作用：它量化队友提示对你行动的影响。而SPID就像分析多个队友的提示如何共同影响你的决定，分解出哪些信息是重复的，哪些是独特的，哪些是协同的。
术语表
语义转移熵 (Semantic Transfer Entropy)
量化一个人对另一个人语义信息流动的影响，基于信息论计算。
用于分析对话中信息流动方向性。
语义部分信息分解 (Semantic Partial Information Decomposition)
分解多源信息为冗余、独特和协同成分。
用于分析多个信息源对目标语言的贡献。
冗余信息 (Redundant Information)
多个源共同提供的重复信息。
在SPID中用于量化信息重叠。
协同信息 (Synergistic Information)
多个源共同提供的超加性信息。
在SPID中用于量化信息协同贡献。
大语言模型 (Large Language Model)
基于深度学习的语言模型，用于生成和预测自然语言。
作为STE和SPID的概率估计器。
开放问题 这项研究留下的未解疑问
- 1 如何优化SPID以支持更多源的分解？
- 2 STE和SPID在跨语言场景中的适用性如何？
应用场景
近期应用
心理治疗质量评估
利用STE分析治疗师与患者的对话信息流动，评估治疗质量。
教育互动优化
通过SPID分析教师与学生的多源信息贡献，优化教学策略。
远期愿景
人机交互优化
结合STE和SPID分析人机对话中的信息动态，提升交互体验。
原文摘要
Quantifying how meaning propagates through communicative exchanges remains underdeveloped in computational linguistics. Here we introduce an information-theoretic framework that quantifies the directed flow of semantic content between interlocutors and decomposes multi-source contributions into redundant, unique, and synergistic components. Our approach leverages large language models as probabilistic estimators of natural language to compute two measures: semantic transfer entropy (STE), which captures directed predictive influence between speakers, and semantic partial information decomposition (SPID), which resolves how multiple sources jointly shape a target's language. Across four experiments we show that the framework detects reduced information flow in cognitively rigid dialogue, captures the dominant role of persuaders in shaping discourse, distinguishes high- from low-quality psychotherapy by the directionality of therapist-client information exchange, and reveals synergistic premise contributions in argumentative essays. This framework opens new avenues for studying information dynamics in digital discourse, pedagogical interactions, clinical dialogues, and any domain in which the structure of linguistic exchange is of research relevance.