Exploring Self-supervised Logic-enhanced Training for Large Language Models
LogicLLM通过自监督训练提升大语言模型逻辑推理能力,在ReClor和LogiQA-v2上表现优异。
Fangkai Jiao, Zhiyang Teng, Bosheng Ding 等
LogicLLM通过自监督训练提升大语言模型逻辑推理能力,在ReClor和LogiQA-v2上表现优异。
Fangkai Jiao, Zhiyang Teng, Bosheng Ding 等
提出GDP-Zero,无需模型训练,利用开放环蒙特卡洛树搜索进行目标导向对话策略规划。
Xiao Yu, Maximillian Chen, Zhou Yu
提出DDPO,用强化学习优化扩散模型,提升图像质量与对齐效果。
Kevin Black, Michael Janner, Yilun Du 等
提出GQA方法,使用5%计算量将多头模型转换为多查询模型,速度接近MQA,质量接近MHA。
Joshua Ainslie, James Lee-Thorp, Michiel de Jong 等
扩展HOLISTICBIAS至50语言,揭示多语言中的人口偏见,发现翻译偏向男性。
Marta R. Costa-jussà, Pierre Andrews, Eric Smith 等
提出“挑战性解码器”策略,通过基于点互信息的掩码增强,提升MAE预训练在密集检索中的表现。
Zehan Li, Yanzhao Zhang, Dingkun Long 等
提出iEvaLM评估方法,利用LLM模拟用户,显著提升对话推荐性能和解释能力。
Xiaolei Wang, Xinyu Tang, Wayne Xin Zhao 等
本研究评估了ChatGPT和GPT-4作为抽象摘要自动评估工具的稳定性与可靠性,发现其在多维度和系统间表现存在显著局限。
Chenhui Shen, Liying Cheng, Xuan-Phi Nguyen 等
ControlVideo利用全交叉注意力和层次采样实现无需训练的高质量文本控制视频生成,显著优于现有方法。
Yabo Zhang, Yuxiang Wei, Dongsheng Jiang 等
提出稀疏表示定理,基于数据依赖极点,促进RKBS中学习解的稀疏性。
Rui Wang, Yuesheng Xu, Mingsong Yan
提出基于残差流和注意力分解的Transformer解释方法ALTI-Logit,优于梯度和扰动基线。
Javier Ferrando, Gerard I. Gállego, Ioannis Tsiamas 等
基于强化学习的3D室内场景人类运动合成,结合潜在动作空间实现多样性与自然性。
Kaifeng Zhao, Yan Zhang, Shaofei Wang 等
Adaptive-Consistency方法在减少采样预算的同时,保持高准确性,平均准确性下降不到0.1%。
Pranjal Aggarwal, Aman Madaan, Yiming Yang 等
Pengi将音频任务统一为文本生成,在21项任务上实现跨模态理解,AudioCaps SPIDEr达0.4667。
Soham Deshmukh, Benjamin Elizalde, Rita Singh 等
CRITIC框架结合外部工具实现大模型自我校正,提升问答、数学推理和毒性控制性能。
Zhibin Gou, Zhihong Shao, Yeyun Gong 等
提出LLM-Pruner结构剪枝方法,仅用50K数据,3小时内实现大模型压缩,保持多任务能力。
Xinyin Ma, Gongfan Fang, Xinchao Wang
利用大语言模型(LLMs)监测视觉策略中的语义异常,识别边缘案例。
Amine Elhafsi, Rohan Sinha, Christopher Agia 等
提出Diff-Pruning,通过Taylor展开实现Diffusion模型约50% FLOPs压缩,训练成本仅为原模型10-20%。
Gongfan Fang, Xinyin Ma, Xinchao Wang
TextDiffuser结合Transformer布局生成与扩散模型,能生成高质量、连贯的文本图像。
Jingye Chen, Yupan Huang, Tengchao Lv 等
LTU模型结合音频感知与推理能力,利用OpenAQA-5M数据集实现音频理解。
Yuan Gong, Hongyin Luo, Alexander H. Liu 等