Latest posts

开源项目趋势周刊第226期(20250112)

"星"推荐:提供了当今最常用的分词器的实现,注重性能和多功能性。采用 Rust 实现,速度极快(包括训练和分词)。在服务器 CPU 上 tokenize 一个 GB 的文本只需不到 20 秒。——出自《Tokenizers》


To the top