Scrapy 将数据保存为标准 Json 格式文件的方法
序言在 Scrapy 中保存 json 文件有以下 3 种方式:直接创建并写入 json 文件,将数据写入其中使用 Scrapy.exporters 中自带的 JsonItemExporter进行导出操作使用 Scrapy.exporters 中自带的 JsonLinesItemExporter进行导出操作但,Scrapy 框架提供的这两个 json 导出模块,均 存在各自的问题 :JsonItemExporter必须先将爬虫爬取下来的 所有数据存放在内存 中,待爬虫完成后,再一次性写