Fang

React + BaiduMap + Node.js , 实现的上海各小区房价一览表。Demo。

  • 所有者: xuchaobei/Fang
  • 平台: Linux, Mac, Windows
  • 许可证: MIT License
  • 分类:
  • 主题:
  • 喜欢:
    0
      比较:

Github星跟踪图

项目简介

本项目是基于React、Node.js、MongoDB 实现的一个JS全栈项目,项目用于查询上海各小区的房价信息。

项目中使用BaiduMap 用于以地图模式浏览小区,使用Koa作为Web后台框架,项目的编译构建使用的是webpack。

各小区的房价信息通过爬虫从链家网上抓取,然后存取到MongoDB中。Node.js 和 Python实现了两种爬虫。

截图

image

安装及运行

  1. 环境准备:Node.js、MongoDB、Python(可选)。
  2. 进入项目根路径。
  3. 执行 npm run build 安装项目依赖。
  4. 执行 npm run dev , 启动项目。
  5. 浏览器访问http://localhost:8080
  6. 此时网页中是没有小区数据的,需要通过爬虫抓取小区房价信息。
    提供了两种爬虫实现:
    (1) 访问http://localhost:8080/crawler , 触发Node.js实现的爬虫。注意,虽然这个接口会立即返回,但抓取数据的过程实际上是异步的,可以通过控制台的日志观察当前的数据抓取情况。
    (2) 在项目根路径下,执行python crawler.py , 触发Python实现的爬虫。

关于爬虫的注意事项:链家网对于接口的调用是有频率和次数限制的,虽然在程序中加了延迟时间用来降低访问链家网接口的频率, 但实际测试下来,仍然无法抓取所有数据。想要抓取更多的数据,可增加程序的延迟时间,或者分多次抓取数据。

声明

爬虫抓取的数据来源于链家网,仅作为学习使用。

参考项目: https://github.com/vvsuperman/fkEstate

License

MIT

主要指标

概览
名称与所有者xuchaobei/Fang
主编程语言JavaScript
编程语言JavaScript (语言数: 4)
平台Linux, Mac, Windows
许可证MIT License
所有者活动
创建于2016-09-12 10:30:39
推送于2017-06-30 07:24:28
最后一次提交2017-06-30 15:24:20
发布数0
用户参与
星数71
关注者数8
派生数17
提交数17
已启用问题?
问题数0
打开的问题数0
拉请求数0
打开的拉请求数0
关闭的拉请求数0
项目设置
已启用Wiki?
已存档?
是复刻?
已锁定?
是镜像?
是私有?