这是一个简单的爬取Bilibili用户数据的网络爬虫
- Python 3.11.1
- Python packages:
- loguru
- numpy
- pymongo
- MongoDB 6
配置MongoDB主机和端口
配置cookie(可选)
配置代理(可选)
警告:虽然配置cookie是可选的,但不配置cookie时,请求API容易返回-401状态码,即非法访问
$ python .\scripts\update_data.py
- Bilibili的API会返回很多数据,代码中仅选取了少量作为测试,可以参考 Bilibili API 文档(非官方)查看完整数据