Scrapy + Selenium 对淘宝商品进行爬取
selenium利用微博账号模拟登录获取cookie
scrapy进行爬取商品信息，文件保存为json
2019-04-21更新 利用Flask做了个接口，可以部署到云端进行爬取，返回json数据
未做： 偶尔登陆时出现验证码，换个账号就行了 偶尔出现滑块验证码，在调用parse后找不到爬取的内容，正在想办法解决 爬取商品详情页面内的评论（需要代理池）
-
Notifications
You must be signed in to change notification settings - Fork 4
triangle959/taobao_scrapy
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
scrapy_selenium for taobao
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published