pyspider爬虫网页响应过慢，爬不到数据解决

对于pyspider 这个框架来说优点就是简单、易上手。所以好好看官方文档能解决80%的问题。
最近需要训练数据，目标页面较多，一般的写爬虫担心不能适应。就自学爬虫框架，为了尽快使用就从pyspider入手了。
期间遇到请求的网页数据加载过慢，总是爬到空数据…
看文档发现self.crawl()函数可以在回调之前，加载js:

            self.crawl(url, fetch_type='js',
                       js_script="""function() {setTimeout("", 12000);}""",
                       callback=self.index_page, validate_cert=False,priority=1)

(1)参数分别是要抓取的url、
(2)fetch_type=‘js’,设置为js以启用JavaScript获取、
(3)js_script=""“function() {setTimeout(”", 12000);}""" ,这里是在访问页面后，延时12s再执行callback=""回调。(等待页面数据的加载)、
(3)validate_cert=False 是否检查网页许可证
(4)priority=1 任务执行的优先级

还有很多参数：
http://docs.pyspider.org/en/latest/apis/self.crawl/

最后

以上就是自然裙子为你收集整理的pyspider爬虫网页响应过慢，爬不到数据解决的全部内容，希望文章能够帮你解决pyspider爬虫网页响应过慢，爬不到数据解决所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。