cdfang-spider

成都房协网爬虫,可视化数据分析,欢迎 star 支持。

Github stars Tracking Chart

cdfang-spider

Build Status
codecov
David

成都房协网数据分析

统计成都自摇号以来所有的房源信息,通过图表的形式展示出来。

Preview

在线预览:https://cdfangyuan.cn

源代码:https://github.com/lmjben/cdfang-spider

Features

已实现的功能:

  • 房源数据同步最新。
  • 首页:登记中房源、汇总统计展示。
  • 首页:按楼盘数、房源数统计,及统计结果排名。
  • 首页:按区域统计,汇总表查询。
  • 历史页:年度汇总统计展示。
  • 历史页:按房源数、区域、月份统计,及统计结果排名。
  • 历史页:按房源数、楼盘数、区域统计,汇总表查询。

Technology

主要用到的技术:

  • React:MVVM 框架,用于构建前端界面。
  • Ant Design:基于 React 的组件库。
  • Bizchats:基于 React 的图表库。
  • Less:CSS 预处理器,提供变量、计算、嵌套、Mixin、函数等。
  • Webpack:打包前端项目,生成静态文件。
  • Apollo:基于 GraphQL 封装,用于搭建后端 GraphQL 支持和前端数据请求。
  • Koa:后端 Web 层框架,用于接收请求,进行处理。
  • Cheerio:解析抓取的 HTML 数据。
  • Mongoose:为 MongoDB 定义数据模型。
  • Gulp:打包后端项目,编译 TS 语法。
  • Jest:测试前后端项目,单元测试,API 测试等。
  • Typescript:为 JS 提供良好的类型检查功能,能编译出高质量的 JS 代码。

项目没有使用脚手架工具搭建,都是一步一步配置而成。具体的搭建流程:项目选型与环境搭建

Start

# clone with Git Bash
git clone https://github.com/lmjben/cdfang-spider.git

# change directory
cd cdfang-spider

# install dependencies
npm i

# serve with hot reload at localhost:8080
npm run dev

# build for production with minification
npm run build

Deploy

# clone with Git Bash
git clone https://github.com/lmjben/cdfang-spider.git

# change directory
cd cdfang-spider/docker

# run docker containers. It may take a long time.
docker-compose up -d

# server running at localhost:8082

License

MIT

Copyright (c) 2020 lmjben

Main metrics

Overview
Name With Ownermengsixing/cdfang-spider
Primary LanguageTypeScript
Program languageJavaScript (Language Count: 5)
Platform
License:MIT License
所有者活动
Created At2018-03-18 14:17:23
Pushed At2023-03-25 09:52:56
Last Commit At2021-03-27 17:13:30
Release Count3
Last Release Namev2.12.3 (Posted on 2021-03-27 17:13:32)
First Release Namebefore-hook (Posted on )
用户参与
Stargazers Count1.2k
Watchers Count30
Fork Count219
Commits Count294
Has Issues Enabled
Issues Count21
Issue Open Count13
Pull Requests Count22
Pull Requests Open Count31
Pull Requests Close Count4
项目设置
Has Wiki Enabled
Is Archived
Is Fork
Is Locked
Is Mirror
Is Private