核心发现
方法论
TQA-Bench使用灵活的采样机制，支持8K到64K令牌的上下文长度，结合符号扩展来评估LLMs在多表推理中的能力。通过对2亿到6710亿参数的LLMs进行系统评估，揭示了其在复杂数据环境中的表现。
关键结果
- LLMs在单表场景中表现优于多表，准确率高出20%。
- Markdown格式的表序列化优于CSV、JSON和HTML。
- 指令调优的LLMs在长上下文中表现更佳，尤其是在复杂推理任务中。
研究意义
该研究填补了现有单表问答基准与实际应用需求之间的差距，推动了LLMs在复杂数据管理任务中的应用，特别是在金融、医疗和电子商务等领域。
技术贡献
TQA-Bench通过引入可变上下文长度和符号扩展，提供了一个可靠的多表问答评估框架，超越了简单的数据检索和模式匹配。
新颖性
首次系统性地评估LLMs在多表问答中的表现，特别是在长上下文和复杂推理任务中的能力。
局限性
- 在处理复杂分析查询时，LLMs仍面临挑战，尤其是在语义正确的SQL生成方面。
- 现有模型在长上下文中性能下降明显。
- 符号扩展方法可能导致评估结果的多样性不足。
未来方向
未来研究可以探索如何提高LLMs在复杂分析任务中的表现，以及开发更有效的上下文管理策略。
AI 总览摘要
随着大语言模型（LLMs）的发展，复杂多模态数据管理任务中的机会不断增加，尤其是在多表关系数据上的问答（QA）任务中。然而，系统地评估LLMs在多表QA中的表现仍然是一个重大挑战，因为分析关系数据结构的模式和潜在的大规模序列化表数据的复杂性。现有的基准主要集中在单表QA，未能捕捉到多个关系表之间的复杂连接，这在金融、医疗和电子商务等实际领域中是必需的。
我们提出了TQA-Bench，一个基于真实世界公共数据集的长上下文分析多表QA基准，具有灵活的采样机制，可以变化上下文长度（8K-64K令牌）和符号扩展，以评估超越检索和模式匹配的推理能力。我们系统地评估了一组从2亿到6710亿参数的LLMs。我们的广泛实验揭示了LLMs在多表QA中的表现，突出了其在复杂数据驱动环境中应用的挑战和机遇。
TQA-Bench通过引入可变上下文长度和符号扩展，提供了一个可靠的多表问答评估框架，超越了简单的数据检索和模式匹配。该研究填补了现有单表问答基准与实际应用需求之间的差距，推动了LLMs在复杂数据管理任务中的应用，特别是在金融、医疗和电子商务等领域。
深度解读
原文摘要
The advance of large language models (LLMs) has unlocked great opportunities in complex multi-modal data management tasks, particularly in question answering (QA) over complicated multi-table relational data. Despite significant progress, systematically evaluating LLMs on multi-table QA remains a critical challenge due to the inherent complexity of analyzing the modality of relational data structures and the potentially large scale of serialized tabular data. Existing benchmarks primarily focus on single-table QA, failing to capture the intricacies of connections across multiple relational tables, as required in real-world domains such as finance, healthcare, and e-commerce. We present TQA-Bench, a long-context analytical multi-table QA benchmark derived from real-world public datasets, with a flexible sampling mechanism that varies context length (8K--64K tokens) and symbolic extensions for assessing reasoning beyond retrieval and pattern matching. We systematically evaluate a set of LLMs spanning model scales from 2 billion to 671 billion parameters. Our extensive experiments reveal critical insights into the performance of LLMs in multi-table QA, highlighting both challenges and opportunities for advancing their application in complex, data-driven environments.