python爬虫学习-使用bs4解析

from fake_useragent import UserAgent
from bs4 import BeautifulSoup
if __name__ == "__main__":
url = 'http://www.maicainan.com/wap/offer/show/id/5139.html'
ua = UserAgent(use_cache_server=False)
headers = {
'user-agent': ua.random,
'Host': 'www.maicainan.com'
}
res = requests.get(url=url, headers=headers)
page = BeautifulSoup(res.text, "html.parser")#生成bs对象
#find,find_all,查找数据
#table：表格
table = page.find('table', class_='hq_table')
# class加下划线,以区分python关键字
# table=page.find('table',attrs={'table':'hq_table'})#可以避免下划线，与上一句作用一样
#trs:找到所有的行
trs = table.find_all('tr')[1:]#切片操作，去掉不需要的
for tr in trs:
tds = tr.find_all('td')#tds:找到所有的列
# 从每一列中找到所有的数据
name = tds[0].text# .text：表示拿到被标签标记的内容
low = tds[1].text
avg = tds[2].text
high = tds[3].text
per = tds[4].text
print(name,low,avg,high,per)
res.close()
# print(res.status_code)
python
在这里插入代码片

最后

以上就是超级煎饼为你收集整理的python爬虫学习-使用bs4解析的全部内容，希望文章能够帮你解决python爬虫学习-使用bs4解析所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。