pyspider爬虫网页响应过慢,爬不到数据解决
对于pyspider 这个框架来说优点就是简单、易上手。所以好好看官方文档能解决80%的问题。最近需要训练数据,目标页面较多,一般的写爬虫担心不能适应。就自学爬虫框架,为了尽快使用就从pyspider入手了。期间遇到请求的网页数据加载过慢,总是爬到空数据…看文档发现self.crawl()函数可以在回调之前,加载js: self.crawl(url, fetch_ty...