2021-05-23

56 阅读 0 评论 37 点赞

我是靠谱客的博主冷酷天空，最近开发中收集的这篇文章主要介绍2021-05-23，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

bs4使用

1.拿到页面源代码

2.使用bs4进行解析，拿到数据

首先基本框架

import requests
from bs4 import BeautifulSoup
import csv
url = "http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml"
resp = requests.get(url)
f = open("菜价.csv", mode="w",encoding="utf-8")
cswriter = csv.writer(f)

然后解析数据
把页面源代码交给BeautifulSoup进行处理，生成bs对象

page = BeautifulSoup(resp.text, 'html.parser')

其中‘html.parser’是指定解析器

找东西是用如下两种代码之一

page.find("table", class_="hq_table")
table = page.find("table", attrs={"class": "hq_table"})

再拿所有数据行的数据，html中标签为<tr>
所以我们采取如下方法：

trs = table.findAll("tr")[1:]

循环拿数据并写入文件：

for tr in trs:
tds = tr.find_all("td")
# 拿到每一行中的所有td
name = tds[0].text
# 表示拿到被标签标记的内容
low = tds[1].text
avg = tds[2].text
high = tds[3].text
gui = tds[4].text
kind = tds[5].text
date = tds[6].text
cswriter.writerow([name,low,avg,high,gui,kind,date])

这样就爬取到了数据

爬取优美图库

基本框架同上
这里主要是拿到每一块的子网页源码和图片的下载链接
拿到主页面的源代码，然后提取到子页面的链接地址href
通过href拿到子页面的内容，从子页面中找到图片的下载地址

child_page_resp = requests.get(href)
child_page_resp.encoding = 'utf-8'
child_page = BeautifulSoup(child_page_resp.text, 'html.parser')
p = child_page.find("p", align="center")
img = p.find("img")
src = img.get("src")

下载图片：

img_resp = requests.get(src)
img_name = src.split("/")[-1]
with open(img_name,mode="wb") as f:
f.write(img_resp.content)

xpath解析

库

from lxml import etree

# result = tree.xpath("/book")
# /表示层级关系，第一个/是根节点
# result = tree.xpath("/book/name/text()")
# tree.xpath("/book") 从文件中提取括号里对应内容
result = tree.xpath("/book/author/nick/text()")
# text() 是拿文本
result1 = tree.xpath("/book/author//nick/text()")
# //表示后代
result2 = tree.xpath("/book/author/*/nick/text()")
# * 表示任意的节点，同配符

Xpath解析实例：
爬取猪八戒网
首先框架：

import requests
from lxml import etree
url="https://ganzhou.zbj.com/search/f/?type=new&kw=saas"
resp = requests.get(url)
#解析
html = etree.HTML(resp.text)

#首先拿到每一个服务商的div
divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[6]/div[1]/div")
for i in divs:
# 每一个服务商信息
price = i.xpath('./div/div/a[1]/div[2]/div[1]/span[1]/text()')
title = "saas".join(i.xpath('./div/div/a[1]/div[2]/div[2]/p/text()'))
com_name = i.xpath('./div/div/a[2]/div[1]/p/text()')
location = i.xpath('./div/div/a[2]/div[1]/div/span/text()')