使用Beautifulsoup解析网页遇到的问题

77 阅读 0 评论 51 点赞

我是靠谱客的博主能干芹菜，最近开发中收集的这篇文章主要介绍使用Beautifulsoup解析网页遇到的问题，觉得挺不错的，现在分享给大家，希望可以做个参考。

今天遇到一个网页，按往常的老办法

soup = BeautifulSoup(content, 'lxml')

打印soup发现少了很多数据，刚开始还以为反爬，后来经过验证不是。、
那么就是解析问题，我换成了

soup = BeautifulSoup(content, 'xml')

打印发现我想要的那块成功出现了，但是对比整个网页发现，其实还是有一些没有显示出来的，不管他，时间紧任务重，得过且过。
后来进入详情页，发现又显示不全了。中间试了xpath等各种解析手段，还是显示不出来。
最后还是继续使用bs4。

soup = BeautifulSoup(content,'html.parser')

发现又成功解析出来了。

写这篇博客并没有深究为什么会这样，能出来结果就赶紧接着往下做。紧张的工作中，大多数小伙伴应该都是这样。
如果有遇到同样只是解析显示不全问题的小伙伴，试过了我的这几种方法都还是不行，可以去搜bs4的文档，里面有更多的方法，祝你好运

以上就是能干芹菜为你收集整理的使用Beautifulsoup解析网页遇到的问题的全部内容，希望文章能够帮你解决使用Beautifulsoup解析网页遇到的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。