LoPT: Lossless Parallel Tokenization Acceleration for Long Context Inference of Large Language Model

Wei Shao, Zheng Lingchao, Pengyu Wang, 郑培桢, Li Jun, Yuwei Fan
七月, 2026
PDF 引用 项目 项目 DOI ACL Anthology

摘要

通过字符位置匹配与动态扩块解决并行 Tokenizer 边界错配，在长上下文输入下实现与串行输出完全一致的加速。

类型
Conference paper
出版物
ACL 2026 · 主会长文
LLM Inference Tokenization
郑培桢
郑培桢
AI Infra 算法研究员

大模型训推与数据基础设施，关注推理性能、分布式系统与 Agent 自动化优化。