Tokenizers
为研究和生产而优化的快速先进的分词器。「💥 Fast State-of-the-Art Tokenizers optimized for Research and Production」
主要指標
概覽
| 名稱與所有者 | huggingface/tokenizers |
|---|---|
| 主編程語言 | Rust |
| 編程語言 | Rust (語言數: 8) |
| 平台 | |
| 許可證 | Apache License 2.0 |
| 發布數 | 142 |
| 最新版本名稱 | v0.21.1 (發布於 ) |
| 第一版名稱 | v0.0.3 (發布於 ) |
| 創建於 | 2019-11-01 17:52:20 |
| 推送於 | 2025-04-16 15:30:11 |
| 最后一次提交 | |
| 星數 | 9606 |
| 關注者數 | 122 |
| 派生數 | 883 |
| 提交數 | 1860 |
| 已啟用問題? | |
| 問題數 | 1046 |
| 打開的問題數 | 68 |
| 拉請求數 | 530 |
| 打開的拉請求數 | 21 |
| 關閉的拉請求數 | 153 |
| 已啟用Wiki? | |
| 已存檔? | |
| 是復刻? | |
| 已鎖定? | |
| 是鏡像? | |
| 是私有? |
