核心发现
方法论
本文采用认知神经科学的证据，将人类大脑中形式与功能性语言能力的神经机制进行对比，结合大规模语言模型（LLMs）在语法规则学习与实际应用中的表现，分析其能力差异。通过对GPT-3、GPT-4等模型在语法、推理、世界知识等任务中的性能评估，结合神经影像学研究，验证模型在形式能力上的优越性与在功能能力上的不足。采用标准语法测试（如BLiMP）和实际任务（如推理、社会认知）进行对比分析。
关键结果
- LLMs在语法规则掌握方面表现接近人类水平，GPT-4在语法完备性测试中达86%的准确率，接近人类89%的基线。模型能捕获复杂的句法结构和长距离依存关系，展现出强大的形式能力。
- 然而，在推理、常识、社会认知等功能性任务中，模型表现明显不足，准确率远低于人类，尤其在多轮推理和情境理解中表现不佳。模型对非语言知识的理解依赖于训练数据，缺乏真正的认知机制。
- 研究还发现，模型的形式能力随着训练数据规模增加而显著提升，但功能能力的改善则较为有限，需结合外部模块或强化学习等技术。
研究意义
该研究明确区分了人类语言能力的两大核心：形式能力与功能能力，为理解和提升人工语言模型提供理论基础。强调模型在语法学习上的成功与在实际应用中的局限，推动未来模型设计朝向更接近人类认知机制的方向发展，有助于解决AI在复杂认知任务中的不足。
技术贡献
提出了基于神经科学的正式与功能性能力划分框架，结合Transformer架构，系统评估模型在语法、推理、社会认知等方面的表现。强调模型应发展出与人脑类似的机制，以实现更全面的语言理解。
新颖性
首次系统将人脑神经机制中的正式与功能性能力划分引入大规模语言模型评估，结合神经影像学与行为数据，揭示模型在不同能力上的差异，为未来模型设计提供新思路。
局限性
- 研究主要依赖静态评估指标，未充分考虑模型在动态交互中的表现差异。
- 模型在复杂推理和社会认知任务中的不足，反映出训练目标的局限性。
- 对外部知识和认知机制的模拟仍较为粗糙，未来需结合多模态信息和认知架构。
未来方向
未来将探索融合外部知识库与认知架构的多模态模型，提升模型在功能性任务中的表现。同时，结合神经科学的最新研究，开发具有类似人脑机制的认知模块，实现更自然、更智能的语言理解。
AI 总览摘要
当前大规模语言模型（LLMs）在语法规则学习方面展现出惊人的能力，接近人类水平，尤其在GPT-4中，语法准确率达到86%，几乎与人类的89%基线持平。这表明，模型在形式能力上已掌握复杂的句法结构和长距离依存关系，显示出强大的语法学习能力。
然而，模型在实际应用中的表现仍存在明显差距。推理、常识理解和社会认知等功能性任务中，表现远不及人类，尤其在多轮推理和情境理解方面表现不足。这反映出，尽管模型在语法规则方面取得突破，但在模拟人类认知机制、理解世界和社会关系方面仍有很大提升空间。
本文基于认知神经科学的研究，将人类大脑中的正式与功能性语言能力进行区分，提出模型应发展出类似的机制。通过对GPT系列模型在不同任务中的表现分析，强调规模扩大能提升形式能力，但功能能力的改善则需结合外部知识库和认知架构。未来，结合多模态信息和神经科学的最新发现，将推动模型向更接近人类思维的方向发展，解决当前在复杂认知任务中的瓶颈。
深度分析
研究背景
自然语言处理的发展经历了从符号主义到统计模型，再到深度学习的演变。早期模型如n-gram和词嵌入在语法和语义捕获方面取得一定成功，但难以理解复杂句法结构。Transformer架构的出现（如BERT、GPT）极大提升了模型的表现，使其在语法、语义等任务中表现优异。尽管如此，模型在推理、常识和社会认知等方面仍存在明显差距，反映出对人类认知机制理解的不足。
核心问题
核心问题在于，当前LLMs在语法规则学习方面表现出色，但在理解和应用语言的实际场景中表现不足。模型缺乏与人类类似的认知机制，难以进行复杂推理、理解情境和社会关系。这限制了其在实际应用中的智能水平，也阻碍了模型向更通用的人工智能迈进。
核心创新
提出将人脑中的正式与功能性语言能力区分，结合神经科学证据，系统评估模型在两类能力上的表现。创新点包括：1）引入认知神经科学的能力划分框架，2）结合神经影像学和行为数据，分析模型能力差异，3）强调模型应发展出类似人脑的机制以实现更全面的认知。
方法详解
- �� 采用神经科学证据，区分正式（语法规则）与功能（推理、社会认知）能力；• 评估GPT-3、GPT-4在语法、推理、社会任务中的表现；• 使用BLiMP等语法测试，结合实际任务（如多轮推理、情境理解）；• 比较模型规模与能力提升关系，分析外部模块的作用。
实验设计
在大规模语料库（如Web文本）预训练的GPT模型，采用标准语法测试（BLiMP）和实际推理任务进行评估。通过对比不同模型（GPT-2、GPT-3、GPT-4）在语法、推理、社会认知任务中的准确率，分析模型能力的演变。还结合神经影像学研究，验证模型的能力是否与人脑机制一致。
结果分析
GPT-4在语法任务中达86%的准确率，接近人类89%；在推理和社会认知任务中表现明显不足，准确率低于70%。模型规模扩大带来语法能力提升，但在复杂推理中效果有限。结合外部知识库和强化学习后，功能性表现有所改善，但仍未达到人类水平。
应用场景
模型可用于自动文档生成、法律和医疗文本分析、教育辅导等场景，特别是在语法和结构理解方面表现优异。未来，结合认知架构和多模态信息，将推动其在智能助理、社会机器人等领域的应用。
局限与展望
模型在推理、常识和社会认知方面表现不足，受限于训练目标和数据偏差。计算成本高，难以实现真正的认知灵活性。未来需结合外部知识和认知机制，提升功能性能力。
通俗解读 非专业人士也能看懂
想象你在厨房做饭。你需要知道食谱（语法规则），这是基础的技能，确保每个步骤都正确。可是，做饭还需要你知道食材的味道、怎么搭配（理解情境和社会关系），这些不是单纯的规则，而是你通过经验学到的。大模型就像个厨师，擅长记住食谱（语法），但在理解菜肴的味道和搭配（实际应用）上还不够灵活。要让它变得像真正的厨师，不仅要学会规则，还要理解食材和场合，这样才能做出美味的菜肴。
简单解释 像给14岁少年讲一样
想象你在学校里学做菜。你学会了很多菜谱（就像学习语法规则），知道怎么把面粉、鸡蛋和糖放在一起做蛋糕（这是基本的规则）。可是，真正的厨师还要知道什么时候放糖，怎么调味，怎么让菜看起来更漂亮（理解情境和社交）。大模型就像个超级记忆宝库，记住了很多菜谱，但还不懂得怎么根据场合调整。要让它变得像个真正的厨师，不仅要记住规则，还要学会理解食材的味道和用餐的场合，这样才能做出既好吃又合适的菜。
术语表
Formal Linguistic Competence (正式语言能力)
指掌握语言的语法规则和结构的能力，确保句子符合语法规范。In neural terms, it relates to the language network's ability to process syntax and morphology.
用于评估模型在语法规则学习方面的表现。
Functional Linguistic Competence (功能语言能力)
指在实际场景中理解和使用语言的能力，包括推理、常识和社会认知。它依赖于非语言认知机制。
衡量模型在真实世界任务中的应用能力。
BLiMP
一个评估英语语法能力的基准测试，包含多种复杂句法结构的对比任务。
用来测试模型的正式语言能力。
Transformer
一种深度学习架构，擅长捕获序列数据中的长距离依赖关系，广泛应用于语言模型。
基础模型架构，用于训练GPT系列。
Neural Mechanisms (神经机制)
指大脑中支持特定认知功能的神经网络结构。
用于比对人脑与模型的能力差异。
开放问题 这项研究留下的未解疑问
- 1 如何在模型中模拟人类的认知机制，特别是情境理解和推理能力，仍是未解难题。现有模型在多轮推理和情境适应方面表现不足，未来需结合认知架构与多模态信息进行突破。
应用场景
近期应用
自动文本校对与生成
利用模型的语法能力进行文档校对、内容生成，适用于编辑、写作辅助。
教育辅助工具
开发智能辅导系统，帮助学生理解语法结构和写作技巧，提升语言学习效率。
远期愿景
人机交互与社会机器人
结合认知机制，打造能理解情境、进行复杂推理的智能助手或机器人，推动智能化社会服务。
原文摘要
Large Language Models (LLMs) have come closest among all models to date to mastering human language, yet opinions about their linguistic and cognitive capabilities remain split. Here, we evaluate LLMs using a distinction between formal linguistic competence -- knowledge of linguistic rules and patterns -- and functional linguistic competence -- understanding and using language in the world. We ground this distinction in human neuroscience, which has shown that formal and functional competence rely on different neural mechanisms. Although LLMs are surprisingly good at formal competence, their performance on functional competence tasks remains spotty and often requires specialized fine-tuning and/or coupling with external modules. We posit that models that use language in human-like ways would need to master both of these competence types, which, in turn, could require the emergence of mechanisms specialized for formal linguistic competence, distinct from functional competence.