Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2
引入Gemma Scope,基于JumpReLU的稀疏自编码器,训练覆盖Gemma 2模型所有层,提升模型解释性。
Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy 等
引入Gemma Scope,基于JumpReLU的稀疏自编码器,训练覆盖Gemma 2模型所有层,提升模型解释性。
Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy 等
通过结合探索性搜索和Kolb学习模型,提升学生的高阶认知能力。
Yiming Luo, Patrick Cheong-Iao Pang, Shanton Chang
Bloom以双层多项式优化融合观测与干预数据,并用半正定松弛提供收敛与最优性保证。
Qiu Chengbo, Yang Kai
研究使用稀疏专家混合模型优化LLM微调,提升准确率和运行效率。
Yuchen Xia, Jiho Kim, Yuhan Chen 等
利用深度生成模型(如VAE、GAN、DM)在机器人学习中捕获多模态演示数据,提升泛化能力。
Julen Urain, Ajay Mandlekar, Yilun Du 等
ToolSandbox是一种支持状态保持和对话交互的LLM工具使用评估基准,涵盖隐式状态依赖和动态里程碑。
Jiarui Lu, Thomas Holleis, Yizhe Zhang 等
CodexGraph通过代码图数据库提升LLM在代码库的表现,显著提高代码检索准确率。
Xiangyan Liu, Bo Lan, Zhiyuan Hu 等
基于GPT-4的多智能体系统Data Director实现自动动画数据视频生成,优化任务分解与工作流。
Leixian Shen, Haotian Li, Yun Wang 等
提出“计算最优”策略,通过动态分配测试时间计算提升LLM性能,超越模型参数扩展。
Charlie Snell, Jaehoon Lee, Kelvin Xu 等
通过微调小模型,提升其在心智理论任务中的表现,达到大模型的46%对齐度。
Nunzio Lore, Sepehr Ilami, Babak Heydari
Lumina-mGPT是一种基于解码器的多模态自回归模型,通过多模态生成预训练实现高效、灵活的高分辨率照片级图像生成,具备多任务能力。
Dongyang Liu, Shitian Zhao, Le Zhuo 等
研究发现多模态大语言模型在GUI环境中易受环境干扰,影响其忠实性。
Xinbei Ma, Yiting Wang, Yao Yao 等
INSEC攻击通过注入评论字符串,提升LLM代码补全不安全率50%以上。
Slobodan Jenko, Niels Mündler, Jingxuan He 等
本研究比较GPT-4、Llama 2和Gemini在低资源语言中的零样本性能,发现英语优越。
Md. Arid Hasan, Prerona Tarannum, Krishno Dey 等
提出基于质量、多样性和重要性的数据评估与选择方法,优化指令微调效果。
Yulei Qin, Yuncheng Yang, Pengcheng Guo 等
MedSyn框架结合LLM和医学知识图谱生成合成医疗文本,ICD代码预测准确率提升17.8%。
Gleb Kumichev, Pavel Blinov, Yulia Kuzkina 等
Re-Invoke方法在ToolE数据集上实现了单工具检索nDCG@5提升20%,多工具提升39%。
Yanfei Chen, Jinsung Yoon, Devendra Singh Sachan 等
MiniCPM-V通过架构优化实现端侧部署,性能优于GPT-4V,支持30+语言。
Yuan Yao, Tianyu Yu, Ao Zhang 等
提出SGCL方法,通过对抗噪声视图提高推荐系统精度,提升12.25%。
Chu Zhao, Enneng Yang, Yuliang Liang 等
引入粗糙对应增强多模态语言模型的空间-时间推理,无需架构修改或微调,提升性能达20%以上。
Benlin Liu, Yuhao Dong, Yiqin Wang 等