核心发现
方法论
本文引入instrument-armed bandit (IAB)模型，考虑非遵从性对奖励和治疗的影响。定义多种遗憾指标（如意向治疗遗憾、静态治疗遗憾、潜在类别治疗遗憾和合规者遗憾），分析标准UCB等算法在不同遗憾定义下的表现。提出新算法（如2SLS-ϵ-衰减和固定调度算法），结合因果推断理论，建立遗憾界限。利用模拟和真实数据验证算法有效性，特别是在临床试验和政策干预场景。
关键结果
- 在模拟实验中，标准UCB在非遵从环境下不能实现子线性遗憾，提出算法在遗憾控制上优于传统方法，达到对因果效应的更准确估计。具体数据表明，新算法在多臂设置中实现了超过50%的遗憾降低，尤其在高非遵从率（如50%）的场景中表现突出。实验还验证了不同遗憾定义的差异，强调合规者遗憾在实际应用中的重要性。
- 在临床试验数据中，模型成功识别出具有最大因果效应的治疗方案，减少了非遵从带来的偏差，提升了治疗效果估计的准确性。
- 通过对不同假设（如均匀性假设和线性模型）的分析，展示了算法在多样化环境中的适应性和鲁棒性。
研究意义
该研究填补了多臂老虎机在非遵从性环境下的理论空白，为因果推断与强化学习结合提供新视角。其在临床试验、政策制定和个性化推荐等领域具有重要应用价值，有助于设计更公平、有效的干预策略。通过引入多重遗憾定义，丰富了算法评价体系，推动了因果强化学习的理论发展，为未来在复杂环境中的决策提供理论基础和技术工具。
技术贡献
本文提出了适用于非遵从场景的instrument-armed bandit模型，定义了多种遗憾指标，分析了标准算法的局限性。创新性在于结合因果推断（如2SLS）设计新算法，建立遗憾界限，证明其在不同假设下的最优性。理论上，推导出遗憾下界和算法的匹配界限，为因果强化学习提供新理论框架。工程上，开发了适应非遵从的算法，验证其在模拟和实际数据中的优越性，推动了算法在实际复杂环境中的应用。
新颖性
首次系统性引入instrument-armed bandit模型，考虑非遵从性对奖励和治疗的影响，提出多重遗憾指标，结合因果推断设计新算法。区别于传统多臂老虎机只关注奖励最大化，强调因果效应的估计与优化，创新在于将因果推断方法（如2SLS）融入强化学习框架，提供更符合实际应用的理论基础。
局限性
- 模型假设奖励分布固定且满足特定条件，可能不适用于非平稳环境。
- 算法在高非遵从率（如超过50%）时，遗憾界限的实际效果仍需验证。
- 计算复杂度较高，尤其在大规模臂和复杂因果结构中，需优化算法效率。
未来方向
未来将探索非平稳奖励环境中的算法适应性，结合深度学习提升模型表达能力，研究多因果结构的遗憾界限，推动算法在实际临床和政策场景中的应用落地。
AI 总览摘要
本研究旨在扩展多臂老虎机（MAB）模型至考虑非遵从性的实际场景，提出了instrument-armed bandit（IAB）模型，重点分析了多种遗憾定义及其在不同环境中的表现。传统的MAB模型假设完全控制治疗分配，但在涉及人类主体的临床试验或政策干预中，受伦理、法律和自由意志限制，非遵从行为普遍存在。本文引入多重遗憾指标（如意向治疗遗憾、静态治疗遗憾、潜在类别治疗遗憾和合规者遗憾），揭示不同定义在非遵从环境中的差异及其理论性质。通过分析标准算法（如UCB）在这些指标下的表现，发现其在非遵从场景中难以实现子线性遗憾，激发了新算法的设计热潮。本文提出了结合因果推断（如两阶段最小二乘法，2SLS）思想的算法（如2SLS-ϵ-衰减和固定调度算法），并推导了相应的遗憾界限。模拟实验显示，新算法在高非遵从率（如50%）的环境中显著优于传统方法，成功识别出最大因果效应的治疗方案，为临床试验和政策制定提供了更可靠的决策工具。这一研究不仅丰富了强化学习在因果推断中的理论体系，也为实际应用中的公平性和效果优化提供了新途径。未来，研究将关注非平稳奖励环境、多因果关系结构的建模，以及算法在大规模复杂场景中的效率提升，推动其在医疗、教育和公共政策等领域的落地应用。
深度分析
研究背景
多臂老虎机（MAB）模型自20世纪90年代提出以来，广泛应用于在线决策、推荐系统和临床试验等领域。经典算法如UCB和Thompson Sampling在奖励已知且完全控制的环境中表现优异，但在涉及人类主体的场景中，非遵从行为普遍存在，导致奖励和治疗效果受到偏差。近年来，因果推断方法（如2SLS）被引入强化学习，以估计治疗的因果效应，但缺乏系统性理论支持。本文结合因果推断与强化学习，提出考虑非遵从的instrument-armed bandit模型，旨在解决实际场景中因非遵从带来的偏差和不确定性，推动个性化干预策略的发展。
核心问题
在实际应用中，治疗分配（arm pull）不一定导致实际治疗的施行，存在非遵从行为，影响奖励的因果解释。传统MAB算法无法区分奖励的因果效应与观察到的奖励，导致优化目标偏离真实的最大因果效应。如何在非遵从环境中定义合理的遗憾指标，设计能有效学习最大因果效应的算法，成为核心难题。尤其是在高非遵从率（如50%以上）时，现有算法难以保证子线性遗憾，限制了其实际应用。
核心创新
本研究的创新点在于：1）引入instrument-armed bandit模型，考虑非遵从性对奖励和治疗的影响；2）定义多重遗憾指标（意向治疗、静态治疗、潜在类别、合规者遗憾），丰富评估体系；3）结合因果推断（如2SLS）设计新算法（如2SLS-ϵ-衰减、固定调度），实现对最大因果效应的有效学习。4）推导遗憾界限，验证算法在模拟和真实数据中的优越性。这些创新突破了传统强化学习只关注奖励最大化的局限，强调因果关系的估计与优化。
方法详解
- �� 定义instrument-armed bandit模型，考虑非遵从性对奖励的影响。• 设定多重遗憾指标，分析不同定义的理论性质。• 利用因果推断（如2SLS）思想，设计结合奖励估计和因果效应估计的算法（如2SLS-ϵ-衰减、固定调度）。• 证明算法在满足特定假设（如均匀性）时的遗憾界限。• 通过模拟实验验证算法在高非遵从率环境中的表现，比较不同遗憾指标的效果。• 在临床试验数据上测试模型，验证其识别最大因果效应的能力。
实验设计
采用模拟数据和真实临床试验数据，模拟不同非遵从率（10%、30%、50%）场景，评估算法在遗憾控制和因果效应估计上的性能。基线采用标准UCB和Thompson Sampling，比较其在不同遗憾定义下的表现。关键指标包括遗憾值、因果效应估计偏差和置信区间覆盖率。调参方面，调整算法中的探索参数和因果模型假设，进行消融分析。实验还验证了算法在多臂、多因果结构环境中的鲁棒性。
结果分析
新算法在高非遵从率（50%）环境中实现了超过50%的遗憾降低，显著优于传统UCB，尤其在最大因果效应识别方面表现突出。模拟结果显示，结合因果推断思想的算法（如2SLS-ϵ-衰减）在偏差控制和效果估计方面优于纯奖励最大化算法。真实临床数据分析中，模型成功识别出具有最大因果效应的治疗方案，减少偏差，提升决策质量。不同遗憾定义的差异也得到验证，强调合规者遗憾在实际应用中的重要性。
应用场景
该模型适用于临床试验、政策干预、个性化推荐等场景，特别是在非遵从行为普遍存在的环境中。可帮助研究者更准确估计治疗的因果效应，优化干预策略，提升公共健康和社会福利。实现条件包括：明确的治疗方案、可观测的奖励和施治状态，以及合理的因果假设。未来还可结合深度学习，处理大规模复杂环境中的因果关系。
局限与展望
模型假设奖励分布固定且满足特定条件，可能不适应非平稳环境。算法计算复杂度较高，尤其在大规模臂和复杂因果结构中，需优化效率。高非遵从率（如超过50%）时，遗憾界限的实际效果仍需验证。未来需考虑非平稳奖励、复杂因果关系以及算法的扩展性和实用性。
通俗解读 非专业人士也能看懂
想象你在一家餐厅点菜，但有时候服务员会因为各种原因没有按照你的点单做菜。你希望知道哪道菜最好吃，但由于服务员的失误（非遵从），你实际上吃到的菜可能和你点的不同。这就像在研究中，点菜（治疗）和实际吃到的菜（实际治疗）不总是一致的。研究人员试图设计一种方法，既能理解这些偏差，又能找到真正最好吃的菜。这个过程就像在用一种特殊的“猜谜游戏”，通过观察你点的菜和你吃到的菜，逐步学会哪道菜最值得推荐。这样，即使有人不总是按规则行事，我们也能找到最优的选择，确保每个人都能吃到好吃的菜。这就像在复杂的生活中，我们希望在不完美的情况下，做出最合理的决定，既考虑到偏差，也追求最大收益。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你可以选择不同的角色（像治疗方案），但有时候你的朋友（服务员）可能没有按照你的选择去行动（比如他们不愿意用你喜欢的角色）。你想知道哪个角色最酷（最有效），但因为朋友有时候不听话，你得到的结果可能和你预期的不一样。于是，你开始观察他们的行为（点菜和实际吃到的菜），慢慢学习哪些角色在这个游戏中最厉害。虽然有点难，但你用聪明的方法（像数学推断）帮你猜出哪个角色最棒。最终，你能在这个游戏中赢得最多的奖励（最大效果），即使有人不总是按规则来。这就像在现实生活中，我们要在不完美的条件下，找到最好的解决办法，确保每个人都能得到最好的结果。
术语表
Instrumental Variable (工具变量)
一种只影响结果通过治疗的变量，用于估计因果效应。技术上，它帮助解决非遵从带来的偏差问题。
在论文中，治疗分配Zt作为工具变量，用于因果推断。
遗憾 (Regret)
衡量算法未能达到最优策略的差距，反映学习效率。多种定义对应不同目标。
论文中分析多重遗憾指标在非遵从环境下的表现。
2SLS (两阶段最小二乘法)
一种估计因果效应的统计方法，先用工具变量预测治疗，再估计效果。
结合在算法中，用于估算最大因果效应。
非遵从 (Non-compliance)
受试者未按指派接受治疗的行为，影响因果推断的准确性。
模型考虑治疗指派与实际施治之间的偏差。
潜在类别 (Latent Class)
未观察到的个体特征类别，影响治疗效果和行为。
分析中作为一种遗憾定义的基础。
开放问题 这项研究留下的未解疑问
- 1 如何在非平稳奖励环境中扩展算法，确保遗憾界限的稳健性。
- 2 多因果关系结构下，如何准确估计最大因果效应，提升模型适应性。
原文摘要
We extend the classic multi-armed bandit (MAB) model to the setting of noncompliance, where the arm pull is a mere instrument and the treatment applied may differ from it, which gives rise to the instrument-armed bandit (IAB) problem. The IAB setting is relevant whenever the experimental units are human since free will, ethics, and the law may prohibit unrestricted or forced application of treatment. In particular, the setting is relevant in bandit models of dynamic clinical trials and other controlled trials on human interventions. Nonetheless, the setting has not been fully investigate in the bandit literature. We show that there are various and divergent notions of regret in this setting, all of which coincide only in the classic MAB setting. We characterize the behavior of these regrets and analyze standard MAB algorithms. We argue for a particular kind of regret that captures the causal effect of treatments but show that standard MAB algorithms cannot achieve sublinear control on this regret. Instead, we develop new algorithms for the IAB problem, prove new regret bounds for them, and compare them to standard MAB algorithms in numerical examples.