使用Beautifulsoup解析网页遇到的问题
今天遇到一个网页,按往常的老办法soup = BeautifulSoup(content, 'lxml')打印soup发现少了很多数据,刚开始还以为反爬,后来经过验证不是。、那么就是解析问题,我换成了soup = BeautifulSoup(content, 'xml')打印发现我想要的那块成功出现了,但是对比整个网页发现,其实还是有一些没有显示出来的,不管他,时间紧任务重,得过且过。后来进入详情页,发现又显示不全了。中间试了xpath等各种解析手段,还是显示不出来。最后还是继续使用bs4