npm install http cheerio request path fs url
初学nodejs,初心是想用做一个爬虫来熟悉nodejs,然后用爬取下来的网页,用express模版来仿制这个网站。
从开始查资料到建站成功,耗时8天,第一个礼拜花费了3-4天的时间包括查看别人的代码、一些基础的API、npm包还有最耗时的是看慕课网上的有关nodejs的学习视频,这里要讲一下,我用的是sublimeText3,慕课网上的有关sublime的使用的视频很好,看完基本就可以掌握了。里面的nodejs的视频,就像scott讲的,主要是给有前端基础的人看的,我之前是学Java的,nodejs基础(1)看完只能说对nodejs有个简单的了解,后面看建站的教学视频,基本上,只能说过一遍,按我自己这段时间的感受,新手刚开始应该看一些入门文档,API也稍微过一遍,有点印象,我会陆续把我这段时间搜到的资料地址也传上来。
开始制作自己的爬虫花费3-4天时间,代码简单易懂有效,当然肯定存在不足,比如无法爬取font开头的css(后来是单独将font的网址放进去,爬下来),还有两张隐藏的背景图片,和一个gif的动态图,无法爬取,目前还没有解决办法。但是已经足够我拿来熟悉nodejs并且成功仿制网站了。 在制作爬虫的过程中,首先感谢经理,刚开始以为他为我们新人做的分析会很简单,等到开始着手的时候发现,虽然简单,但却是一个完整的思路,对我制作中后期起到了很大的引导作用。 CNode中文社区,给了我很大帮助,当时我遇到了包括路径拼接,外链内容下载的问题,跟社区人的一些对话也给我带来了思路和代码上的帮助,特别是下载的地方,@thesadboy ,他写的一段有关下载的代码很有意思,在这次上传的文档中引用了,再次感谢。 最后,nodejs写起来,真的感觉叼爆了,我会继续学习和分享。