Python Scrapy爬虫中文乱码问题“鎴愬姛”及用chardet解决乱码问题

在爬取某个网站时，爬取第一个页面能正常获取，爬取第二个页面，获取文章内容时，返回的数据为中文乱码，乱码如下:

{"rptCode":200,"msg":"鎴愬姛","data":{"docId":989402,"docTitle":"閾惰淇濋櫓鏈烘瀯鎭㈠鍜屽缃鍒掑疄鏂芥殏琛屽姙娉�"}

尝试解决：

查找办法让在setting.py文件中添加设置编码格式的代码：

FEED_EXPORT_ENCODING = 'utf-8'

添加后依旧不可以。

使用其他的格式编码：

reponse.body.decode('gbk')

会报错，某个字段不能被转换。

继续查找其他方法，此方法可以解决：

首先安装 chardet 库，使用以下代码，可以正常解决乱码问题，

用chardet检测编码，只需要一行代码：

>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}

import chardet
gbkContent = response.body.decode(chardet.detect(response.body)['encoding'])
print(gbkContent)

成功结果如下

{"rptCode":200,"msg":"成功","data":{"docId":989402,"docTitle":"恢复和处置计划实施暂行办法"}

最后

以上就是专注白羊为你收集整理的Python Scrapy爬虫中文乱码问题“鎴愬姛”及用chardet解决乱码问题的全部内容，希望文章能够帮你解决Python Scrapy爬虫中文乱码问题“鎴愬姛”及用chardet解决乱码问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。