【CS336】分词器:分词器原理与 BPE 实现

张开发
2026/4/17 22:54:23 15 分钟阅读

分享文章

【CS336】分词器:分词器原理与 BPE 实现
https://tiktokenizer.vercel.app/?modeldeepseek-ai%2FDeepSeek-R1这个网页可以实时观察不同模型的分词情况可以看到原始文本被如何分割以及映射为词表中的ID。开源内容https://github.com/datawhalechina/diy-llm

更多文章