Fang

React + BaiduMap + Node.js , 实现的上海各小区房价一览表。Demo。

  • 所有者: xuchaobei/Fang
  • 平台: Linux, Mac, Windows
  • 許可證: MIT License
  • 分類:
  • 主題:
  • 喜歡:
    0
      比較:

Github星跟蹤圖

项目简介

本项目是基于React、Node.js、MongoDB 实现的一个JS全栈项目,项目用于查询上海各小区的房价信息。

项目中使用BaiduMap 用于以地图模式浏览小区,使用Koa作为Web后台框架,项目的编译构建使用的是webpack。

各小区的房价信息通过爬虫从链家网上抓取,然后存取到MongoDB中。Node.js 和 Python实现了两种爬虫。

截图

image

安装及运行

  1. 环境准备:Node.js、MongoDB、Python(可选)。
  2. 进入项目根路径。
  3. 执行 npm run build 安装项目依赖。
  4. 执行 npm run dev , 启动项目。
  5. 浏览器访问http://localhost:8080
  6. 此时网页中是没有小区数据的,需要通过爬虫抓取小区房价信息。
    提供了两种爬虫实现:
    (1) 访问http://localhost:8080/crawler , 触发Node.js实现的爬虫。注意,虽然这个接口会立即返回,但抓取数据的过程实际上是异步的,可以通过控制台的日志观察当前的数据抓取情况。
    (2) 在项目根路径下,执行python crawler.py , 触发Python实现的爬虫。

关于爬虫的注意事项:链家网对于接口的调用是有频率和次数限制的,虽然在程序中加了延迟时间用来降低访问链家网接口的频率, 但实际测试下来,仍然无法抓取所有数据。想要抓取更多的数据,可增加程序的延迟时间,或者分多次抓取数据。

声明

爬虫抓取的数据来源于链家网,仅作为学习使用。

参考项目: https://github.com/vvsuperman/fkEstate

License

MIT

主要指標

概覽
名稱與所有者xuchaobei/Fang
主編程語言JavaScript
編程語言JavaScript (語言數: 4)
平台Linux, Mac, Windows
許可證MIT License
所有者活动
創建於2016-09-12 10:30:39
推送於2017-06-30 07:24:28
最后一次提交2017-06-30 15:24:20
發布數0
用户参与
星數71
關注者數8
派生數17
提交數17
已啟用問題?
問題數0
打開的問題數0
拉請求數0
打開的拉請求數0
關閉的拉請求數0
项目设置
已啟用Wiki?
已存檔?
是復刻?
已鎖定?
是鏡像?
是私有?