distribute_crawler
使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现
主要指標
概覽
| 名稱與所有者 | webpy/webpy |
|---|---|
| 主編程語言 | Python |
| 編程語言 | Python (語言數: 2) |
| 平台 | |
| 許可證 | Other |
| 發布數 | 18 |
| 最新版本名稱 | webpy-0.70 (發布於 ) |
| 第一版名稱 | webpy-0.31 (發布於 ) |
| 創建於 | 2008-09-29 11:42:56 |
| 推送於 | 2025-09-18 21:57:43 |
| 最后一次提交 | 2025-09-18 21:57:43 |
| 星數 | 5925 |
| 關注者數 | 327 |
| 派生數 | 1303 |
| 提交數 | 1084 |
| 已啟用問題? | |
| 問題數 | 455 |
| 打開的問題數 | 40 |
| 拉請求數 | 190 |
| 打開的拉請求數 | 12 |
| 關閉的拉請求數 | 153 |
| 已啟用Wiki? | |
| 已存檔? | |
| 是復刻? | |
| 已鎖定? | |
| 是鏡像? | |
| 是私有? |
