distribute_crawler
使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现
主要指标
概览
| 名称与所有者 | webpy/webpy |
|---|---|
| 主编程语言 | Python |
| 编程语言 | Python (语言数: 2) |
| 平台 | |
| 许可证 | Other |
| 发布数 | 18 |
| 最新版本名称 | webpy-0.70 (发布于 ) |
| 第一版名称 | webpy-0.31 (发布于 ) |
| 创建于 | 2008-09-29 03:42:56 |
| 推送于 | 2025-05-13 21:44:18 |
| 最后一次提交 | 2025-05-08 12:49:08 |
| 星数 | 5914 |
| 关注者数 | 333 |
| 派生数 | 1307 |
| 提交数 | 1080 |
| 已启用问题? | |
| 问题数 | 452 |
| 打开的问题数 | 37 |
| 拉请求数 | 186 |
| 打开的拉请求数 | 14 |
| 关闭的拉请求数 | 152 |
| 已启用Wiki? | |
| 已存档? | |
| 是复刻? | |
| 已锁定? | |
| 是镜像? | |
| 是私有? |
