排序: 最新 热门 引用
cs.CV 2106.13230

Video Swin Transformer

提出Video Swin Transformer,利用局部注意力机制,实现视频识别准确率84.9%(Kinetics-400),模型参数仅28.2M。

Ze Liu, Jia Ning, Yue Cao 等

2021-06-25 49
cs.CL 2106.09685

LoRA: Low-Rank Adaptation of Large Language Models

提出LoRA,通过低秩分解冻结预训练模型参数,有效减少参数量,提升训练效率,性能与微调相当。

Edward J. Hu, Yelong Shen, Phillip Wallis 等

2021-06-18 22282 引用 42
cs.AI 2106.07139

Pre-Trained Models: Past, Present and Future

本文系统回顾预训练模型(PTMs)发展史,重点分析BERT、GPT等架构,强调其在AI中的核心作用。

Xu Han, Zhengyan Zhang, Ning Ding 等

2021-06-14 52