核心发现
方法论
该研究创建了一个包含5.5k多项选择题的金融基准，涵盖五个关键领域：金融市场、财务与会计、国内公司分析、金融代理和股票价格预测。此外，还包括100个开放式问答题。通过两个月的开放排行榜，收集了超过1000个模型的提交，最终生成了一个8万实例的开放指令数据集。
关键结果
- 排行榜运行期间，评估了1119个模型提交，其中600多个模型公开可用，形成了未来研究的基础。
- 在金融与会计类别中，模型表现显著提升，最高得分达到0.83。
- 开放式FinQA任务中，₩ON模型表现优异，展示了强大的推理能力。
研究意义
该研究通过创建开放排行榜和数据集，推动了韩语金融大语言模型的发展。它不仅提供了一个评估平台，还促进了模型的公开和透明化，为学术界和工业界提供了宝贵的资源。
技术贡献
技术贡献包括开发了首个专注于韩语金融领域的开放排行榜，提供了一个全面的基准数据集，并引入了₩ON模型，该模型通过推理能力提升了金融任务的表现。
新颖性
该研究首次引入了一个开放排行榜来评估韩语金融大语言模型，并通过公开数据集和模型，促进了领域的发展和透明化。
局限性
- 排行榜评估的多项选择题可能无法完全反映真实世界的提示。
- 开放式问答题数量有限，可能不足以全面评估模型的推理能力。
未来方向
未来工作包括扩展开放式问答题的范围，改进模型的推理能力，以及探索更多金融领域的应用。
AI 总览摘要
韩语金融领域的自然语言处理一直面临着模型和数据集共享的限制，这使得技术发展缓慢。为了填补这一空白，研究团队创建了一个开放排行榜，评估了1119个模型提交，涵盖五个关键金融领域。通过排行榜的运行，收集了大量模型和数据，最终生成了一个8万实例的开放指令数据集。
₩ON模型的推出标志着韩语金融大语言模型领域的一个重要里程碑。它结合了排行榜上表现优异的训练策略，通过推理能力的提升，在金融与会计和开放式FinQA任务中表现出色。
尽管如此，该研究也面临一些局限性，如多项选择题可能无法完全反映真实世界的应用场景。未来的研究将着重于扩展开放式问答题的范围，并进一步提升模型的推理能力，以更好地服务于金融领域的实际应用。
深度分析
研究背景
金融领域的自然语言处理技术近年来取得了显著进展，但由于金融行业的封闭性，模型和数据集的共享受到限制。这导致技术发展缓慢，重复劳动频繁。现有的评估工具如KRX-Bench和KMMLU虽然提供了一定的评估标准，但仍不足以涵盖金融领域的广泛应用。
核心问题
金融领域的大语言模型在应用中面临性能不稳定的问题，可能导致经济损失。因此，开发可靠的评估系统是至关重要的。然而，金融行业的封闭性限制了模型和数据集的共享，阻碍了相关技术的发展。
核心创新
该研究的核心创新在于创建了一个开放排行榜，用于评估韩语金融大语言模型的性能。通过收集和分析排行榜上的模型提交，研究团队总结了有效的训练策略，并推出了₩ON模型。
方法详解
- �� 创建一个包含5.5k多项选择题的金融基准，涵盖五个关键领域。
- �� 运行一个为期两个月的开放排行榜，评估1119个模型提交。
- �� 收集和过滤来自竞争团队的20万实例，生成一个高质量的8万实例指令数据集。
- �� 使用Deepseek-R1生成响应，并对这些轨迹进行训练，推出₩ON模型。
实验设计
实验设计包括使用多个金融领域的数据集进行评估，如金融市场、财务与会计、国内公司分析等。基准数据集包括5.5k多项选择题和100个开放式问答题。评估指标包括模型在不同任务上的准确率和推理能力。
结果分析
排行榜运行期间，评估了1119个模型提交，其中600多个模型公开可用。₩ON模型在金融与会计类别中表现优异，最高得分达到0.83。在开放式FinQA任务中，₩ON展示了强大的推理能力。
应用场景
该研究的应用场景包括金融市场分析、财务报表解读、股票价格预测等。模型可以帮助金融机构提高决策效率，降低风险。
局限与展望
尽管研究取得了显著进展，但多项选择题可能无法完全反映真实世界的应用场景。此外，开放式问答题数量有限，可能不足以全面评估模型的推理能力。未来的研究将着重于扩展开放式问答题的范围，并进一步提升模型的推理能力。
通俗解读 非专业人士也能看懂
想象你在一个金融市场的模拟游戏中，₩ON就像你的智能助手。它能帮你分析市场趋势、预测股票价格，并解答你关于财务报表的问题。通过学习大量的金融数据和问题，它能快速给出准确的建议，就像一个经验丰富的投资顾问。
简单解释 像给14岁少年讲一样
想象你在玩一个金融游戏，₩ON是你的超级助手！它能帮你预测股票价格，分析市场趋势，就像一个聪明的机器人朋友。你问它问题，它会用最快的速度给你答案，帮助你在游戏中做出最佳决策。是不是很酷？
术语表
多项选择题 (MCQA)
一种测试形式，提供多个选项供选择，通常用于评估知识或能力。
在研究中用于评估模型的金融知识。
开放排行榜
一个公开的评估平台，允许多个模型提交并比较性能。
用于评估韩语金融大语言模型的性能。
₩ON模型
一个专注于韩语金融领域的开放大语言模型，结合了排行榜上的最佳实践。
研究中推出的模型，展示了强大的推理能力。
Deepseek-R1
一种用于生成模型响应的算法，帮助训练推理能力。
用于生成₩ON模型的训练数据。
推理能力
模型理解和处理复杂问题的能力，通常通过多步逻辑推导实现。
₩ON模型在开放式FinQA任务中展示的能力。
开放问题 这项研究留下的未解疑问
- 1 如何扩展开放式问答题的范围，以更全面地评估模型的推理能力？
- 2 如何改进模型在知识密集型任务中的表现？
应用场景
近期应用
金融市场分析
模型可用于分析市场趋势，帮助投资者做出更明智的决策。
远期愿景
智能金融助手
未来，模型有望成为金融机构的智能助手，提高决策效率，降低风险。
原文摘要
In this work, we present the first open leaderboard for evaluating Korean large language models focused on finance. Operated for about eight weeks, the leaderboard evaluated 1,119 submissions on a closed benchmark covering five MCQA categories: finance and accounting, stock price prediction, domestic company analysis, financial markets, and financial agent tasks and one open-ended qa task. Building on insights from these evaluations, we release an open instruction dataset of 80k instances and summarize widely used training strategies observed among top-performing models. Finally, we introduce Won, a fully open and transparent LLM built using these best practices. We hope our contributions help advance the development of better and safer financial LLMs for Korean and other languages.