wj844908240 / project Public

Notifications You must be signed in to change notification settings
Fork 0
Star 1

使用scrapy爬取jobbole，知乎等网站。并使用elasticsearch配合django构建搜索引擎

1 star 0 forks Branches Tags Activity

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 1 Commit
Article		Article
LcvSearch		LcvSearch
ScrapyRedisTest		ScrapyRedisTest
README.md		README.md

Repository files navigation

ArticleSpider

LcvSearch 使用django构建搜索引擎数据从爬出爬取而来使用ElasticSearch搜索服务器

ArticleSpider利用scrapy框架搭建爬虫项目可爬取 job伯乐知乎拉钩等网站设计自动登录爬取数据可通过twisted将mysql异步执行存储到数据库或者json格式这里写入到es中

ScrapyRedisTest网上查阅分布式爬虫的简单配置实例

About

使用scrapy爬取jobbole，知乎等网站。并使用elasticsearch配合django构建搜索引擎

Report repository

Releases

No releases published

Packages

No packages published

Languages