Skip to content

Longtailneighbor/spider_for_creditChina_ms

Repository files navigation


spider_for_creditChina_ms-第一版

感谢银龙的前半部分getchild代码

后半部分加入了自己写的网页解析与插入代码,效果还待检查


###spider_for_creditChina_ms-第二版

引用了银龙获取childlink部分(post)

重写页面解析,报错逻辑

新增自动日志功能

代码为SpiderFCIjhon.py单个文件,暂时未分开


###spider_for_creditChina_ms-第三版

上传脚本SpiderFCIjhon_proxy0.2.py ,代码也未分开

加入了代理(能自检,自动获取代理ip)

加入线程池,设置为10个线程

###spider_for_creditChina_ms-第四版

SpiderFCIjhon_proxy0.3.py 代码未分开

由于很多名称本来就没有查询结果,所以对每次查询都加了日志功能,能看到链接,能看到编号

减少了插入函数等待时间,新增了循环等待时间

综合来看,速度得到大幅提升,今晚测试下能爬下多少数据


###spider_for_creditChina_ms-第五版

加入了阻塞,有两种阻塞(pool.close,pool.join),一种pool.map:一组数据,的一种pool.apply:单个数据,zip(list,array)

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages