碧蓝楼房

文章
6
资源
0
加入时间
2年10月21天

[笔记] PhantomJS爬虫小记

PhantomJS这个headless浏览器还是很好用的,配合着v8与qt化的webkit引擎,JavaScript可以很好得去处理得到的页面数据。去年在整合各个平台搭建搜索引擎的时候,写了一个爬虫脚本,去掉一些认证和特殊功能,一个简单的js就放到github上了:https://github.com/dna2github/dna2oldmemory/blob/master/dna2poem/phantomjs/spider.js