利用python编写数据采集脚本，并结合django+echarts对采集的数据进行分析

• 代码还不够完善，欢迎各位大佬们提出改进意见！

使用本程序前需要先配置系统的环境

• 配置的系统环境如下：
  
• 本系统使用的是Python3.4和Django1.8.2
  
• 用到的编译器是Sublime和Pycharm
  
• 用到的数据库是Mysql5.6,
  
• 用到的数据库管理工具是Navicat.
  

需要先开启爬虫程序进行数据的采集

• 首先执行的程序是crawl_baidunuomi.py
  
• 或者执行crawl_baidunuomi_toal.py
  

开启美食地图系统

• 使用Pycharm打开美食地图系统，然后执行python manager.py runserver 即可打开程序
  

环境依赖

1.lxml
2.xpath
3.pyquery
4.bs4
5.etree
6.re

运行方法

pip 安装依赖
$pip install -r requirments.txt

运行爬虫程序

$python craw_baidunuomi.py

爬取的美食数据量在9万左右

对路径稍作修改可以爬取其他类型的数据（酒店、机票、旅游等）

数据爬取流程

先获取所有城市的URL地址并将其放入列表中，然后每从列表中取一个城市的url地址就获取其城市的所有美食数据，拼接地址、翻页等。在爬取过程中用到了IP代理池，每次都会确定使用的ip，若ip失效，则替换掉，从断点处继续爬取。并将爬到的数据保存在mysql数据库中。

将爬取的数据进行展示

热力图展示

美食地图主页展示

美食数据云图展示

美食数据饼状图展示

美食地图详细数据展示