概述
爬虫-解决中文乱码
- 问题:获取网站中文显示乱码
- 解决
- 查看正确编码
- 解决gzip压缩
问题:获取网站中文显示乱码
使用requests.get获取了网页代码之后,发现其中有部分为乱码
这是一般是编码问题导致的
解决
查看正确编码
只需要在get得到代码的基础上,print()中将text换为encoding即可
#!/usr/bin/python
# coding: utf-8
import requests
r = requests.get("你要爬取的网址")
print(r.encoding)
我们就会得到该网址的编码
再将其以正确的编码输出
#!/usr/bin/python
# coding: utf-8
import requests
r1 = requests.get("你要爬取的网址")
r1.encoding='上一步中输出的正确编码'
print(r1.text)
解决gzip压缩
也许我们在进行了上述操作之后,发现代码中仍存在乱码,与网页检查得到的代码比较,我们发现乱码部分都是中文部分。这就说明网页制作者使用gzip将网页压缩了,下面我们要将其解码。
使用.coment可以将其解码
#!/usr/bin/python
# coding: utf-8
import requests
import chardet
r1 = requests.get("你要爬取的网址")
r1.encoding='上一步得到的编码'
after_gzip= r1.content
print(chardet.detect(after_gzip))
这样你就会获取解压后的字符串编码,以’encoding’:'正确编码’形式呈现,再以这个编码将内容输出
#!/usr/bin/python
# coding: utf-8
import requests
import chardet
r1 = requests.get("你要爬取的网址l")
r1.encoding='上一步得到的编码'
after_gzip= r1.content
html = after_gzip.decode('这一步得到的编码')
print(html.text)
这样我们就获得了没有中文乱码的内容
最后
以上就是瘦瘦小蚂蚁为你收集整理的爬虫-解决中文乱码问题:获取网站中文显示乱码解决的全部内容,希望文章能够帮你解决爬虫-解决中文乱码问题:获取网站中文显示乱码解决所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复