排序: 最新 热门 引用
cs.CL 2501.06246

A Partition Cover Approach to Tokenization

提出一种基于划分覆盖的Tokenization方法,算法GREEDTOK在真实语料中优于BPE和Unigram,压缩率提升约3%。

Jia Peng Lim, Shawn Tan, Davin Choo 等

2025-01-09 6 引用 43