Tokenizers
为研究和生产而优化的快速先进的分词器。「💥 Fast State-of-the-Art Tokenizers optimized for Research and Production」
主要指标
概览
| 名称与所有者 | huggingface/tokenizers |
|---|---|
| 主编程语言 | Rust |
| 编程语言 | Rust (语言数: 8) |
| 平台 | |
| 许可证 | Apache License 2.0 |
| 发布数 | 150 |
| 最新版本名称 | v0.22.1 (发布于 ) |
| 第一版名称 | v0.0.3 (发布于 ) |
| 创建于 | 2019-11-01 17:52:20 |
| 推送于 | 2025-09-19 09:46:10 |
| 最后一次提交 | |
| 星数 | 10112 |
| 关注者数 | 124 |
| 派生数 | 971 |
| 提交数 | 1903 |
| 已启用问题? | |
| 问题数 | 1096 |
| 打开的问题数 | 85 |
| 拉请求数 | 565 |
| 打开的拉请求数 | 27 |
| 关闭的拉请求数 | 168 |
| 已启用Wiki? | |
| 已存档? | |
| 是复刻? | |
| 已锁定? | |
| 是镜像? | |
| 是私有? |
