spider

python爬虫 fofa用于爬取指定 flag 即搜索内容的链接，需要有fofa会员cookie(无需f币)，否则只能爬前五页。 gitlab用于爬取，gitlab仓库相关信息，可自行定义。 爬取结果存在分隔符问题 , 逗号可能会与抓取flag存在冲突, 在使用时可自行构思。 项目使用 requests模块, xpath解析语法, threadpool线程池模块完成。