概述
有些网站的数据是通过ajax请求获取的，或者提供了json格式的api。
比如对于如下的数据：
{
{
"url": "http://www.techbrood.com/news/1",
"author": "iefreer",
"title": "techbrood Co. test 1"
},
{
"url": "http://www.techbrood.com/news/2",
"author": "ryan.chen",
"title": "techbrood Co. test 2"
}
}在Scrapy里，只要简单改写下parse函数就行：
def parse(self, response):
#调用body_as_unicode()是为了能处理unicode编码的数据。
sites = json.loads(response.body_as_unicode())
for site in sites:
print site['url']调用body_as_unicode()是为了能处理unicode编码的数据。
最后
以上就是沉静睫毛为你收集整理的Scrapy:抓取返回数据格式为JSON的网站内容的全部内容，希望文章能够帮你解决Scrapy:抓取返回数据格式为JSON的网站内容所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复