Tokenizers
为研究和生产而优化的快速先进的分词器。「💥 Fast State-of-the-Art Tokenizers optimized for Research and Production」
主要指標
概覽
| 名稱與所有者 | huggingface/tokenizers |
|---|---|
| 主編程語言 | Rust |
| 編程語言 | Rust (語言數: 8) |
| 平台 | |
| 許可證 | Apache License 2.0 |
| 發布數 | 150 |
| 最新版本名稱 | v0.22.1 (發布於 ) |
| 第一版名稱 | v0.0.3 (發布於 ) |
| 創建於 | 2019-11-01 17:52:20 |
| 推送於 | 2025-09-19 09:46:10 |
| 最后一次提交 | |
| 星數 | 10112 |
| 關注者數 | 124 |
| 派生數 | 971 |
| 提交數 | 1903 |
| 已啟用問題? | |
| 問題數 | 1096 |
| 打開的問題數 | 85 |
| 拉請求數 | 565 |
| 打開的拉請求數 | 27 |
| 關閉的拉請求數 | 168 |
| 已啟用Wiki? | |
| 已存檔? | |
| 是復刻? | |
| 已鎖定? | |
| 是鏡像? | |
| 是私有? |
