添加拦截sign的脚本#企查查每日新增企业数据抓取
-
接口
- 使用企查查获取token接口 qccspider/common/utils.py 可以看到
- 抓取每日新增数据接口 qccspider/getnewdata.py 可以看到
-
尚未完成的工作：
- redis数据转存mysql
- 代理池尚未设置
- 企查查限制，每分钟请求大概不能超过30次，所有功能未加并发，请不要使用代理并发，会封账户的
-
已经完成工作
- 每天定时抓取
- 自动刷新token
- 省份、市的所有代码
- token自动刷新
- 根据地址自动将省份、市、区县进行分割
- 所有数据存到redis里面
- 可以自动登录，账号需要独立
- getnewdata.py 项目主入口
- other放城市和省份代码
- common公用方法
- getmoredata.py 获取更多的企业数据，包括经营范围、联系方式等
- getnewdata.py 获取每日新增企业数据
- 摒弃以前所用方法，采用新的思路
- 新增将数据写入文本
- 本代码只做学习交流，请勿用于非法渠道！！！
- 本代码已经稳定运行3个多月
由于企查查反爬策略升级，该代码已经无用。！！！- 添加拦截sign的脚本
可以继续使用部分接口，sign算法可以继续用
