beautifulsoup：用来解析网页得到我们想要的数据，我用的是bs4了
##引入模块
复制代码
1from bs4 import BeautifullSoup
##网址
复制代码
1name_url = 'https://mp.csdn.net/postedit'
##得到网页信息
复制代码
1html = requests.get(name_url)
##创建对象
复制代码
1html = BeautifulSoup(name_url)
复制代码
1
##搜索文档树
1.soup.find( name , attrs , recursive , text , **kwargs ) BeautifulSoup中可以通过name和attrs去定位名称和属性，以找到特定的html代码。更值得称赞的是，attrs支持正则表达式。
复制代码
1
2
3
4name_soup =soup.find('class': 'attrs') class='div','span'等根据具体的name属性在标签里面找到 attrs='text','title-author'等，按f12打开网页源码，看一下
2.soup.find_all()
find_all()
返回的是整个文档的搜索结果，如果文档内容较多则搜索过程耗时过长，加上
limit
限制，当结果到达
limit
值时停止搜索并返回结果。find_all() 会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False。
find()
方法和
find_all()
方法的参数使用基本一致，只是
find()
的搜索方法只会返回第一个满足要求的结果，等价于
find_all()
方法并将
limit
设置为1。如：
复制代码
具体详细信息可直接参考
Beautiful Soup
库的
官方说明文档
1
2soup.find_all('div', class_='thumb', limit=1) soup.find('div', class_='thumb')
最后
以上就是苗条便当最近收集整理的关于python|爬虫beautifulsoup的用法的全部内容，更多相关python|爬虫beautifulsoup内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复