beautifulsoup解析beautifulsoup解析

beautifulsoup解析

python独有

复制代码优势：简单、便捷、高效 - 环境安装 需要将pip源设置为国内源 -需要安装：pip install bs4 bs4在使用时需要一个第三方库 pip install lxml流程：核心思想：可以将html文档转换成Beautiful对象，然后调用对象属性和方法进行html指定内容的定位和查找

1
2
3
4
5
6
优势：简单、便捷、高效
- 环境安装
需要将pip源设置为国内源
-需要安装：pip install bs4
bs4在使用时需要一个第三方库
pip install lxml

流程：
核心思想：可以将html文档转换成Beautiful对象，然后调用对象属性和方法进行html指定内容的定位和查找

• 1.导包
• 2.创建Beautiful对象：
  • 如果html文档来源于本地：Beautiful('open('本地html文件)',lxml)
  • 如果html文档来源于网络：Beautiful（'网络请求到的页面数据','lxml'）
• 3.使用方法和属性：
  • 根据标签名查找
    • soup.a 只能找到第一个符合要求的标签
  • 获取属性
    • soup.a.attrs 获取a所有的属性和属性值，返回一个字典
    • soup.a.attrs['href'] 获取href属性 也可以简写为 soup.a['href']
  • 获取内容
    • soup.a.string
    • soup.a.text
    • soup.a.get_text() 注意：如果标签还有标签，那么string获取的结果为None，而其他两个，可以获取文本内容 -find:找到第一个符合要求的标签
    • soup.find('a')
    • soup.find('a',title='xxx') 类似的
    • soup.find('a',id='xxx') -finAll 获取所有符合条件的标签
    • soup.findAll('a')
    • soup.findAll(['a','b']) 找到所有的a标签和b标签
    • soup.findAll('a',limit=2) 限制取前两个
  • 根据选择器选择指定的内容 soup.select() -常见的选择器：标签选择器、类选择器（.）、id选择器(#)、层级选择器
    复制代码- 层级选择器： div .dudu #lala 空格表示下面好多级 div > p > a > .lala > 只能是下面一级

    1
    2
    3
    4
    5
    
    - 层级选择器：
    div .dudu #lala 空格表示下面好多级
    div > p > a > .lala
    > 只能是下面一级

    注意：select返回的永远是列表，可以通过下标提取指定的对象

练习

• 需求：爬取古诗文网中三国小说里的标题和内容

复制代码import requests from bs4 import BeautifulSoup url = 'http://www.shicimingju.com/book/sanguoyanyi.html' # 自定义请求头信息 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } page_text = requests.get(url=url,headers=headers).text # 数据解析 soup = BeautifulSoup(page_text,'lxml') li_list=soup.select('.book-mulu > ul > li > a') # type(li_list[0]) bs4.element.Tag Tag类型的数据可以继续调用属性方法进行解析 f = open('./三国演义.txt','w',encoding='utf-8') for li in li_list: title = li.text # print(type(title)) conten_url ='http://www.shicimingju.com' + li.attrs['href'] content_page = requests.get(url=conten_url,headers=headers).text content_soup = BeautifulSoup(content_page,'lxml') content = content_soup.select('.chapter_content')[0] # print(content.text) f.write(title+content.text+'nnn') print(title+' 已写入')

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import requests
from bs4 import BeautifulSoup
url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
# 自定义请求头信息
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
page_text = requests.get(url=url,headers=headers).text
# 数据解析
soup = BeautifulSoup(page_text,'lxml')
li_list=soup.select('.book-mulu > ul > li > a')
# type(li_list[0])
bs4.element.Tag Tag类型的数据可以继续调用属性方法进行解析
f = open('./三国演义.txt','w',encoding='utf-8')
for li in li_list:
title = li.text
#
print(type(title))
conten_url ='http://www.shicimingju.com' + li.attrs['href']
content_page = requests.get(url=conten_url,headers=headers).text
content_soup = BeautifulSoup(content_page,'lxml')
content = content_soup.select('.chapter_content')[0]
#
print(content.text)
f.write(title+content.text+'nnn')
print(title+'
已写入')