Turn Waste into Worth: Rectifying Top-$k$ Router of MoE
提出Rectify-Router方法,提升MoE模型性能,准确率提高4.7%。
Zhiyuan Zeng, Qipeng Guo, Zhaoye Fei 等
提出Rectify-Router方法,提升MoE模型性能,准确率提高4.7%。
Zhiyuan Zeng, Qipeng Guo, Zhaoye Fei 等
提出LowPopArt算法用于低秩矩阵估计,结合实验设计实现更优恢复保证。
Kyoungseok Jang, Chicheng Zhang, Kwang-Sung Jun
TimeSeriesBench提供168种评估设置,提升时间序列异常检测模型的工业应用能力。
Haotian Si, Jianhui Li, Changhua Pei 等
提出StableLego基于力平衡优化的结构稳定性分析方法,准确预测积木结构稳定性。
Ruixuan Liu, Kangle Deng, Ziwei Wang 等
BitDistiller通过自蒸馏提升亚4位LLM性能,显著减少数据和训练资源需求。
Dayou Du, Yijia Zhang, Shijie Cao 等
提出SpLiCE,将CLIP高维表示分解为稀疏、可解释的语义概念,保持高性能。
Usha Bhalla, Alex Oesterling, Suraj Srinivas 等
UMI框架通过手持夹具实现从人类演示到机器人策略的直接技能转移,成功率达70%。
Cheng Chi, Zhenjia Xu, Chuer Pan 等
提出StrongREJECT基准,利用高质量禁用提示集和自动评估,显著改善对空白越狱的检测效果。
Alexandra Souly, Qingyuan Lu, Dillon Bowen 等
提出基于持续预训练的数据工程策略,将语言模型的上下文长度扩展至128K,关键在于数据量和多样性平衡。
Yao Fu, Rameswar Panda, Xinyao Niu 等
提出Any-Shift Prompting,通过层次贝叶斯模型在23个数据集上显著提升跨分布泛化能力。
Zehao Xiao, Jiayi Shen, Mohammad Mahdi Derakhshani 等
使用DDPM反演实现零样本无监督和文本驱动的音频编辑,提升音频编辑灵活性。
Hila Manor, Tomer Michaeli
提出LoraRetriever,通过输入感知的LoRA检索与组合,有效提升多任务场景下的模型适应性,实验显示优于多种基线。
Ziyu Zhao, Leilei Gan, Guoyin Wang 等
Meta-SpikeFormer在ImageNet-1K上实现80%准确率,超越SOTA 3.7%。
Man Yao, Jiakui Hu, Tianxiang Hu 等
提出两项增强方法:语义子树继承与贪婪子节点选择,提升GP-GOMEA在高阶算子中的效率。
Thalea Schlender, Mafalda Malafaia, Tanja Alderliesten 等
提出AI Hospital多智能体框架,评估大模型在模拟临床诊断中的表现,诊断准确率低于一阶GPT-4。
Zhihao Fan, Jialong Tang, Wei Chen 等
本文提出Lite-LLM4Rec,通过层次化结构和避免束搜索,实现高效且性能优异的序列推荐模型,提升46.8%的性能和97.28%的效率。
Hanbing Wang, Xiaorui Liu, Wenqi Fan 等
提出基于动态因果推理的强化学习框架,利用两个关键引理量化多变量时间序列中的因果关系。
Mehdi Fatemi, Sindhu Gowda
DoRA通过权重分解提升LoRA的学习能力,在多个任务上超越LoRA。
Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin 等
提出InfoRM,通过信息瓶颈过滤无关信息,有效缓解RLHF中的奖励黑客问题,提升模型泛化能力。
Yuchun Miao, Sen Zhang, Liang Ding 等
提出PNSIS框架,结合必要与充分概率提取不变子结构,提升图OOD泛化能力。
Xuexin Chen, Ruichu Cai, Kaitao Zheng 等