排序: 最新 热门 引用
cs.CL 2606.23566

LangMAP: A Language-Adaptive Approach to Tokenization

LangMAP采用多语种最大后验估计,基于UnigramLM扩展,单一词表实现多语言定制化分词,提升形态边界对齐。

Clara Meister, Suchir Salhan, Andrzej Szablewski 等

2026-06-23 234