核心发现
方法论
本研究构建了基于MIMIC-IV的EHR-Complex，通过患者事件图、临床证据路径和SQL模板生成，结合多轮交互实现复杂临床推理。采用多层次任务设计，涵盖患者和群体层面，平均每个查询含31.93个SQL结构组件，强调纵向多表聚合和组合推理。模型在此环境中执行SQL或Python代码，反馈环境信息，验证任务难度。评估12个先进大模型，发现最高准确率仅62.3%，且Pass^k一致性在k=4时低于50%，暴露出模型在随机性和鲁棒性上的不足。
关键结果
- 最优模型准确率为62.3%，远低于传统静态SQL基准的接近100%，显示复杂推理环境的挑战性。
- 模型在群体层面任务表现明显低于患者层面，准确率从0.85降至0.25，反映多患者对齐和聚合的难点。
- 失败分析揭示逻辑错误、医学编码查找失败和语义误解为主要失误类型，强调模型在推理逻辑和知识融合上的不足。
研究意义
本研究提供了首个大规模、交互式的临床数据库推理基准，突破了静态问答的限制，逼近真实临床场景。推动AI在电子健康记录（EHR）中的应用，解决信息复杂、动态、多表关联等难题，为未来智能临床决策和自动化数据分析奠定基础。该基准揭示现有模型在复杂推理任务中的不足，指明了未来模型设计的方向，具有重要的学术和产业价值。
技术贡献
提出结合患者事件图、临床证据路径和SQL模板的多轮交互推理框架，创新性地将纵向多表聚合和组合推理融入大规模EHR环境。引入真实世界SQL复杂度指标，平均每个查询包含31.93个结构组件，显著提升任务难度。系统性分析模型失败模式，为模型鲁棒性提升提供理论基础。此方法突破了静态文本到SQL的限制，支持动态、多轮交互，增强了模型在实际临床场景中的适应性。
新颖性
首次构建基于大规模真实EHR数据库的交互式推理基准，强调纵向多表聚合和组合推理的复杂性，超越以往静态问答和简单SQL生成的局限。引入多轮环境交互机制，结合环境反馈验证SQL执行效果，提供更接近临床实际的评估场景。此创新在医疗AI领域具有里程碑意义，为未来交互式智能医疗系统提供了基础平台。
局限性
- 模型在处理复杂逻辑和医学知识融合方面仍存在较大不足，逻辑错误和语义误解频繁发生。
- 基准主要依赖模拟环境，未完全覆盖临床实际中多样化的场景和噪声因素，存在一定的模拟偏差。
- 模型在群体层面推理时对对齐和聚合的敏感性较高，易受微小偏差影响，鲁棒性有待提升。
未来方向
未来将结合知识图谱和强化学习等技术，增强模型的推理能力和知识融合能力。计划扩展多模态数据（如影像、文本）支持，更贴近临床实际需求。同时，优化模型的鲁棒性和解释性，推动模型在真实临床环境中的应用落地。还将探索多任务学习和迁移学习策略，提升模型泛化能力。
AI 总览摘要
电子健康记录（EHR）作为现代医疗信息的核心，面临数据庞大、异构、纵向关联复杂的挑战。尽管大模型在静态问答任务中表现优异，但在实际临床推理中仍显不足。为此，本文提出了EHR-Complex，一个基于MIMIC-IV的交互式临床数据库推理基准，旨在模拟真实场景中的复杂推理需求。
该基准通过患者事件图、临床证据路径和SQL模板的多轮交互机制，支持纵向多表聚合和组合推理，平均每个查询含31.93个SQL结构组件，极大提高任务复杂度。评估12个先进大模型，最高准确率仅62.3%，且一致性在k=4时低于50%，暴露出模型在随机性和鲁棒性上的不足。
实验分析揭示逻辑错误、医学编码查找失败和语义误解为主要失败模式，强调模型在复杂推理和知识融合方面的挑战。该基准不仅推动了医疗AI在复杂环境中的研究，也为未来模型的鲁棒性和解释性提供了方向。总体而言，EHR-Complex为临床智能系统提供了一个严苛的测试平台，揭示了当前技术的瓶颈与发展空间。
深度分析
研究背景
随着电子健康记录（EHR）数据规模不断扩大，基于大模型的自动化分析逐渐成为研究热点。早期工作如Spider、MIMICSQL等，主要关注静态问答和单次SQL生成，难以应对临床中复杂的纵向、多表、多步骤推理。近年来，交互式评估框架逐步兴起，诸如SWE-bench、WebArena等，强调模型在环境反馈中的表现，但多集中于通用场景，缺乏专业化的临床复杂性测试。医疗场景中的推理任务不仅涉及多表关联、时间序列、编码系统，还要求模型具备动态交互、逐步推理能力，亟需更贴近实际的基准。现有的静态数据集无法充分反映临床决策的复杂性，限制了模型的实际应用潜力。
核心问题
当前的医疗AI模型在处理复杂临床推理任务时表现不足，主要原因在于缺乏具有代表性和挑战性的基准。静态问答和单轮SQL生成无法模拟临床中多轮交互、环境反馈和多表纵向聚合的复杂性。实际场景中，模型需要理解多源信息、解决模糊的schema、进行时间序列分析、识别医学编码，且在多轮交互中逐步逼近正确答案。这些限制导致模型在实际应用中鲁棒性差，难以满足临床需求。建立一个真实、复杂、交互式的基准，成为推动医疗AI发展的关键。
核心创新
本研究的核心创新在于引入多轮交互机制，将患者事件图、临床证据路径和SQL模板结合，模拟临床推理中的复杂场景。具体包括：
- �� 构建患者事件图，抽取临床事件序列，作为推理基础；
- ��采样临床证据路径，形成时间序列链，支持多表、多步骤推理；
- �� 将证据路径转化为可执行SQL模板，支持环境交互验证；
- �� 设计多层次任务，涵盖患者和群体层面，强调纵向多表聚合和组合推理。该框架突破静态问答限制，支持多轮环境反馈，逼近临床实际复杂性。
方法详解
- �� 构建患者事件图：从MIMIC-IV中抽取异构临床事件，形成时间序列图结构。
- �� 提取临床证据路径：采样时间序列链，确保临床逻辑一致性。
- �� 生成SQL模板：利用大模型将证据路径映射为可执行SQL，验证其正确性。
- �� 多轮交互：模型通过多轮执行SQL或Python代码，逐步逼近目标答案。
- �� 任务设计：涵盖患者和群体两个层面，强调纵向多表聚合和组合推理。
- �� 数据扩充：模板重用、患者重采样和自然语言多样化，生成52K任务。
- �� 人工验证：专家评审任务的语义合理性和临床支持性。
实验设计
采用MIMIC-IV作为数据源，构建包含6个临床意图的任务集，涵盖患者和群体范围。评估12个前沿大模型，包括GPT-4、Gemini、Qwen系列等，指标为准确率和一致性。模型在50轮交互限制下运行，分析不同任务难度和模型表现差异。对失败案例进行细粒度分析，识别逻辑错误、编码查找失败和语义误解。还进行多轮一致性和稳定性测试，验证模型在不同环境下的鲁棒性。通过人工审查验证任务的临床合理性，确保基准的可靠性。
结果分析
模型最高准确率为62.3%，远低于静态问答的接近100%，显示推理复杂性极大提升难度。群体层面任务表现显著低于患者层面，准确率从0.85降至0.25，反映多患者对齐和聚合的挑战。失败分析显示逻辑错误占比37.9%，医学编码查找失败占比28.6%，语义误解占比23.1%，强调模型在推理逻辑和知识融合上的不足。这些结果揭示了当前模型在面对真实临床复杂场景时的局限性，为未来研究指明了方向。
应用场景
该基准可用于训练和评估面向临床的智能推理模型，支持自动化患者数据查询、临床决策辅助和电子病历分析。模型需具备多轮交互、环境反馈和多表纵向推理能力，适用于智能临床助手、自动报告生成等场景。未来，结合该基准优化模型鲁棒性和解释性，将极大推动智能医疗的普及和临床实践的智能化升级。
局限与展望
目前模型在处理复杂逻辑和医学知识融合方面仍存在不足，逻辑错误频发，难以应对临床多样化场景。基准环境为模拟环境，未完全反映真实临床噪声和多样性，存在一定偏差。此外，模型在群体推理中对微小偏差敏感，鲁棒性不足，未来需结合知识图谱和强化学习等技术进行改进。
通俗解读 非专业人士也能看懂
想象你在一家大型厨房里，厨师需要准备一道复杂的菜肴。每个步骤都依赖前面做好的材料和调料，还要根据不同的食材调整配比。厨师不仅要记住每个步骤，还要根据现场的情况灵活应对，比如调味不足或食材变质。这个厨房里有很多不同的厨房用具和食材，每次操作都需要检查和调整。现在，把这个厨房比作医院的电子健康记录系统，厨师就是AI模型，菜肴就是需要解决的临床问题。模型要像厨师一样，理解不同的材料（患者信息、医学编码），根据现场反馈（环境信息）调整操作（SQL或Python代码），最终做出正确的菜肴（答案）。这个过程非常复杂，需要多次尝试和调整，才能做出令人满意的结果。这个基准就像是模拟厨房的训练场，让模型学会在复杂环境中灵活应对各种挑战。
简单解释 像给14岁少年讲一样
想象你在学校的厨房里帮忙做饭。这里有很多不同的食材、调料和工具，每次做菜都要按照步骤来，但有时候你会发现食材不够或者味道不对，需要不断试错和调整。比如，你要做一道汤，先放菜，然后试味道，觉得不够咸就再放盐。这个过程很像模型在处理医院里的电子病历，它要理解很多不同的资料，比如病人的信息、检查报告、药物记录，还要根据环境反馈调整操作，比如重新查询或修改SQL语句。这个基准就像是模拟厨房的训练场，让模型学会在复杂的环境中不断试错，最终做出正确的菜。这很难，但也很有趣，因为它让AI变得更聪明、更像人类厨师，能应对各种突发情况。未来，这样的模型可以帮医生更快找到病人的信息，做出更好的诊断，就像一个超级厨师一样厉害！
原文摘要
Clinical agents promise to democratize access to electronic health records (EHRs), yet existing benchmarks fail to reflect the complexity of practical EHR analysis, e.g., often operating on idealized, clean EHRs via static SQL generation rather than interactive execution. In this work, we introduce EHR-Complex, a large-scale benchmark designed for interactive clinical database reasoning. Built on the large MIMIC-IV substrate (365K patients, 31 tables, 500M+ records), EHR-Complex comprises about 52K tasks spanning six clinical intents, supporting both patient-level and population-level queries, where each task requires an agent to interact with a sandboxed environment by executing SQL queries or Python code. Notably, EHR-Complex considers the real-world SQL task complexity for longitudinal multi-table aggregation and compositional reasoning, resulting in 31.93 SQL structural components per query on average. Evaluation results on EHR-Complex reveal the clinical difficulty of these EHR reasoning scenarios, with the top-performing model achieving only 62.3% exact-match accuracy. Pass^k consistency drops below 50% for nearly all evaluated models at k=4, exposing broad stochastic fragility. A fine-grained analysis of more than 3,800 failed trajectories for representative LLMs reveals three dominant failure modes: SQL logic errors, medical-code lookup failures, and semantic misunderstandings. EHR-Complex provides a rigorous testbed for clinical agents and highlights remaining gaps in robust reasoning for large-scale EHR analysis.