感谢银龙的前半部分getchild代码
后半部分加入了自己写的网页解析与插入代码,效果还待检查
###spider_for_creditChina_ms-第二版
引用了银龙获取childlink部分(post)
重写页面解析,报错逻辑
新增自动日志功能
代码为SpiderFCIjhon.py单个文件,暂时未分开
###spider_for_creditChina_ms-第三版
上传脚本SpiderFCIjhon_proxy0.2.py ,代码也未分开
加入了代理(能自检,自动获取代理ip)
###spider_for_creditChina_ms-第四版
SpiderFCIjhon_proxy0.3.py 代码未分开
由于很多名称本来就没有查询结果,所以对每次查询都加了日志功能,能看到链接,能看到编号
减少了插入函数等待时间,新增了循环等待时间
综合来看,速度得到大幅提升,今晚测试下能爬下多少数据
###spider_for_creditChina_ms-第五版
加入了阻塞,有两种阻塞(pool.close,pool.join),一种pool.map:一组数据,的一种pool.apply:单个数据,zip(list,array)