有些网站的数据是通过ajax请求获取的,或者提供了json格式的api。
比如对于如下的数据:
{
{
"url": "http://www.techbrood.com/news/1",
"author": "iefreer",
"title": "techbrood Co. test 1"
},
{
"url": "http://www.techbrood.com/news/2",
"author": "ryan.chen",
"title": "techbrood Co. test 2"
}
}
在Scrapy里,只要简单改写下parse函数就行:
def parse(self, response):
#调用body_as_unicode()是为了能处理unicode编码的数据。
sites = json.loads(response.body_as_unicode())
for site in sites:
print site['url']
调用body_as_unicode()是为了能处理unicode编码的数据。
最后
以上就是沉静睫毛最近收集整理的关于Scrapy:抓取返回数据格式为JSON的网站内容的全部内容,更多相关Scrapy:抓取返回数据格式为JSON内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复