我是靠谱客的博主 瘦瘦小蚂蚁,最近开发中收集的这篇文章主要介绍爬虫-解决中文乱码问题:获取网站中文显示乱码解决,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

爬虫-解决中文乱码

  • 问题:获取网站中文显示乱码
  • 解决
    • 查看正确编码
    • 解决gzip压缩

问题:获取网站中文显示乱码

使用requests.get获取了网页代码之后,发现其中有部分为乱码

这是一般是编码问题导致的

解决

查看正确编码

只需要在get得到代码的基础上,print()中将text换为encoding即可

#!/usr/bin/python
# coding: utf-8

import requests
r = requests.get("你要爬取的网址")
print(r.encoding)

我们就会得到该网址的编码
再将其以正确的编码输出

#!/usr/bin/python
# coding: utf-8

import requests

r1 = requests.get("你要爬取的网址")
r1.encoding='上一步中输出的正确编码'
print(r1.text)

解决gzip压缩

也许我们在进行了上述操作之后,发现代码中仍存在乱码,与网页检查得到的代码比较,我们发现乱码部分都是中文部分。这就说明网页制作者使用gzip将网页压缩了,下面我们要将其解码。
使用.coment可以将其解码

#!/usr/bin/python
# coding: utf-8

import requests
import chardet

r1 = requests.get("你要爬取的网址")
r1.encoding='上一步得到的编码'
after_gzip= r1.content
print(chardet.detect(after_gzip))

这样你就会获取解压后的字符串编码,以’encoding’:'正确编码’形式呈现,再以这个编码将内容输出

#!/usr/bin/python
# coding: utf-8

import requests
import chardet

r1 = requests.get("你要爬取的网址l")
r1.encoding='上一步得到的编码'
after_gzip= r1.content
html = after_gzip.decode('这一步得到的编码')
print(html.text)

这样我们就获得了没有中文乱码的内容

最后

以上就是瘦瘦小蚂蚁为你收集整理的爬虫-解决中文乱码问题:获取网站中文显示乱码解决的全部内容,希望文章能够帮你解决爬虫-解决中文乱码问题:获取网站中文显示乱码解决所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(53)

评论列表共有 0 条评论

立即
投稿
返回
顶部