spider_for_ronghouse 记录 最近荣哥想买房,然后我们一起写组爬虫--纪念下,我写的sfw 说明 使用spyspider spider_for_ronghouse是主文件,help里有数据清洗函数 写这个爬虫遇到的困难如下 - 网页返回带迷惑效果的js - 爬取时页码--要反向推算,page不能获取,靠计算,推荐月还款的那个涉及后面的js逻辑,没写,但写了推荐首付。 - 字典扁平化网上的不大靠谱,还是得我自己写 - 最后--写得慢--写了一天,坐了一天,感觉被整上痔疮了,火辣辣的。