Web crawler \ Spider

  4.8k

网络爬虫 \ 蜘蛛

weibospider

用于微博的分布式爬虫，用celery和requests构建。（A distributed crawler for wei...

MIT

Python

快速查看 比較 2.3k

  1.5k

网络爬虫 \ 蜘蛛

grab-site

archivist 的 web crawler。WARC输出，所有爬行的仪表板，动态忽略模式。「The archivis...

NOASSERTION

Python

快速查看 比較 2.1k

  24.3k

网络爬虫 \ 蜘蛛

Colly

优雅的 Golang Scraper 和爬虫框架。「Elegant Scraper and Crawler Framew...

Apache-2.0

Go

快速查看 比較 2.5k

  6.1k

网络爬虫 \ 蜘蛛

WechatSogou

基于搜狗微信搜索的微信公众号爬虫接口

Apache-2.0

Python

快速查看 比較 2k

  3.2k

网络爬虫 \ 蜘蛛

Hawk: 先进的ETL和爬虫流引擎

用 C#/WPF 编写的可视化爬虫和 ETL 集成开发环境。「visualized crawler & ETL ...

Apache-2.0

C#

快速查看 比較 827

  3.2k

网络爬虫 \ 蜘蛛

wechat-spider

微信公众号爬虫

待确定

Python

快速查看 比較 1.8k

  16.1k

网络爬虫 \ 蜘蛛

TWINT - Twitter Intelligence Tool

一个高级的Twitter抓取和OSINT工具，用Python编写，不使用Twitter的API，允许你抓取用户的追随者，...

MIT

Python

快速查看 比較 4k

网络爬虫 \ 蜘蛛

metha

命令行 OAI 采集器和客户端，内置缓存。「Command line OAI harvester and client ...

GPL-3.0

Go

快速查看 比較 2.1k

  4.1k

网络爬虫 \ 蜘蛛

scrape-it

面向人类的 Node.js 搜刮器。「🔮 A Node.js scraper for humans.」

MIT

JavaScript

快速查看 比較 2.1k

网络爬虫 \ 蜘蛛

Spidermon

用于监控蜘蛛执行情况的 Scrapy 扩展。「Scrapy Extension for monitoring spide...

BSD-3-Clause

Python

快速查看 比較 2.3k

  2.3k

网络爬虫 \ 蜘蛛

news-please

news-please - 可正常运行的集成式 web 爬虫和新闻信息提取器。*提示：使用请注意遵守当地法律。「news...

Apache-2.0

Python

快速查看 比較 2.6k

  20k

网络爬虫 \ 蜘蛛

ScrapeGraphAI

基于人工智能的 Python 网络爬虫。『Python scraper based on AI』

MIT

Python

快速查看 比較 1k