概述
beautifulsoup：用来解析网页得到我们想要的数据，我用的是bs4了
##引入模块
from bs4 import BeautifullSoup
##网址
name_url = 'https://mp.csdn.net/postedit'
##得到网页信息
html = requests.get(name_url)
##创建对象
html = BeautifulSoup(name_url)##搜索文档树
1.soup.find( name , attrs , recursive , text , **kwargs ) BeautifulSoup中可以通过name和attrs去定位名称和属性，以找到特定的html代码。更值得称赞的是，attrs支持正则表达式。
name_soup =soup.find('class': 'attrs')
class='div','span'等根据具体的name属性在标签里面找到
attrs='text','title-author'等，按f12打开网页源码，看一下
2.soup.find_all()
find_all()
返回的是整个文档的搜索结果，如果文档内容较多则搜索过程耗时过长，加上
limit
限制，当结果到达
limit
值时停止搜索并返回结果。find_all() 会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False。
find()
方法和
find_all()
方法的参数使用基本一致，只是
find()
的搜索方法只会返回第一个满足要求的结果，等价于
find_all()
方法并将
limit
设置为1。如：
soup.find_all('div', class_='thumb', limit=1)
soup.find('div', class_='thumb')最后
以上就是苗条便当为你收集整理的python|爬虫beautifulsoup的用法的全部内容，希望文章能够帮你解决python|爬虫beautifulsoup的用法所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复