bilibili_video_stat

爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析

1.提供代理ip池
2.提供user agent池
3.使用scrapy-redis分布式
4.使用mongodb保存数据（也可使用mysql，提供了相应代码）
5.使用多进程（单个爬虫线程数请根据设备情况自行在settings.py中修改）
6.提供完整error记录
7.提供自定义重试中间件UserRetryMiddleware（如使用，请在settings.py中修改）
8.提供在redis中添加starurls的代码，请阅读redis_n.py文件

启动命令

pip3 install -r requirements.txt
python3 start.py 进程数
# python3 start.py 32

建议配合代理ip池使用，提供 https://github.com/arthurmmm/hq-proxies 代理池的调用中间件，需在settings中开启中间件
请在使用前设置settings.py中的redis和mongodb的连接
pipeline.py注释了使用mysql保存的代码，如使用，请在settings.py添加相应设置

千万级大数据量/天的爬取经验：

1.请准备较大的代理IP池：若数据量在400条/秒，根据b站封ip的测试（短时间请求1000次则封ip），代理池需维持300-400的代理ip
2.请使用短有效期的代理ip：代理ip有效期在3-5分钟需300-400的代理池IP量，若有效期较长，需增加代理池的ip量
3.请准备较多的user agent组成池，useragent.py中的量差不多了
4.请开启重试：超时时间调小为10s，重试次数增加为10；实际测试中，重试1次约占30%，重试2次及以上约占10%，最多的重试了6次；重试占比于代理ip质量相关
5.若出现所有请求全部都重试的情况，请开启DOWNLOAD_DELAY = 0.01；实际测试，即使只延迟0.01s也会显著减少重试次数；若重试情况仍严重，请增加至0.25s
6.需详细记录失败的url，保持数据的完整性