#LuLu Crawler LuLu Crawler 是結合 MakeeAPI、SimpleCrawler、Cheerio 的爬蟲應用程式,它將會爬取指定網域,並將欲擷取之資料存入資料庫中。
- 安裝使用套件
$ cd <directory-to-your-lulucrawler>
$ cp config.example.js config.js
$ npm i
- 設定 config.js
exports.getThisUrl = '<URL>';
-
修改爬取內容於 spider.js
-
請啟動 app.js
$ node app.js
$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
$ brew install nodejs
$ brew install mongodb
- Node:0.10.38
MIT