练习： bs4 简单爬取 + matplotlib 折线图显示 （关键词，职位数量、起薪）

要看一种技术在本地的流行程度，最简单的就是找招聘网站按关键词搜索。

比如今天查到的职位数量是vue 1296个，react 1204个，angular 721个。国际上比较流行的是react，本地市场中vue倒更受欢迎。所以学习的话可以先考虑前两个。

比如我们可以功利化一点：某些语言的薪资中值比较低，或者某些语言职位数比较少，那么我们做做比较，去学点别的吗。

 

 

---

分为两步，第一步爬取并保存成文本文件；第二步读取和解析文本文件显示折线图。（数据存在本地更好，免得频繁扒着玩，对方网站恨我。所以分为两步）

 

第一个文件：

按关键词，扒取页面 https://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京 

按薪资区间分为几挡：1～6000，　　6001～12000,　　12001～20000,　　20001～30000,　　30001～99999

# -*- coding: utf-8 -*-
# coding=utf-8
import requests
import bs4
import urllib
def getPageTxt(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
r = requests.get(url, headers=headers)
soup = bs4.BeautifulSoup(r.content.decode("utf-8"), "lxml")
mylist = soup.select('.search_yx_tj em')
counts = mylist[0].text
return counts
def getUrl(word, moneymin=0, moneymax=99999):
url = "http://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京&kw="
url += word + "&p=1&isadv=0&isfilter=1&sf=" + str(moneymin) + "&st=" + str(moneymax)
return url
# 一、查询关键词
word000 = "前端,python" #限最多6个值，中间半角逗号分隔
#word000 = "前端,python,php"
words = word000.split(",")
# 二、工资区间（最小值为0，最大值为99999）
moneys = [0, 6000, 12000, 20000, 30000, 99999]
money_min = list(map(lambda x: x+1, moneys[:-1]))
#[1, 6001, 12001, 20001, 30001]
money_max = list(map(lambda x: x, moneys[1:]))
#[6000, 12000, 20000, 30000, 99999]
print(money_min)
print(money_max)
# 三、url拼串，扒取页面，生成字典文件
'''
字典文件的结构为：（counts是职位数量，startmoney是起薪。这两个list，后面将用于生成折线图）
[
{'key': '前端', 'counts': [1105, 4485, 4394, 1549, 393], 'startmoney': [1, 6001, 12001, 20001, 30001]},
{'key': 'python', 'counts': [700, 2945, 4467, 2454, 984], 'startmoney': [1, 6001, 12001, 20001, 30001]}
]
'''
ulist = []
for word in words:
li = {}
counts = []
for k in money_min:
idx = money_min.index(k)
# 索引
url = getUrl(word, money_min[idx], money_max[idx])
# 拼串
counts.append(int(getPageTxt(url)))
# 扒取
，并转换为数字，存入counts列表
li["key"] = word
li["counts"] = counts
li["startmoney"] = money_min
ulist.append(li)
print(ulist)
f = open("counts000.txt", "w")
f.write(str(ulist))
f.close()

 

 

 

第二个文件：

注意这里有个坑：json载入的字符串，必须是双引号

# -*- coding: utf-8 -*-
# coding=utf-8
import json
f = open('counts000.txt', 'r+')
ulliststring = f.read()
f.close()
ulliststring = ulliststring.replace("'", '"')
# 注意这里有个坑！！
json的标准格式：要求必须 只能使用双引号作为键 或者 值的边界符号，不能使用单引号，而且“键”必须使用边界符（双引号）
ullist = json.loads(ulliststring)
import matplotlib
import matplotlib.pyplot as plt
matplotlib.rcParams['font.sans-serif'] = ['SimHei']# 为了能显示中文（而不是显示一个框）
matplotlib.rcParams['font.family']='sans-serif'
matplotlib.rcParams['axes.unicode_minus'] = False
# 为了能显示负号（而不是显示一个框）

colornames = ['#ff0000', '#ccee00', '#00aa00','#0000ff', '#9900ff', '#ff0099']
plt.title('bj薪资、职位数量折线表', color='#ff33a0')
plt.xlabel('薪资区间')
# 设置X坐标轴标题
plt.ylabel('职位数量')
# 设置Y坐标轴表
plt.xlim(0, 35000)
# 设置坐标轴的范围
plt.ylim(0, 5000)
# plt.xticks([2,4])#设置x轴的标签间隔
# plt.yticks([4,16])#设置y轴的标签间隔

i = 0
for li in ullist:
x = li["startmoney"]
y = li["counts"]
plt.plot(x, y, colornames[i])
i += 1
plt.show()

 

 

写在后面：

可能会有些小bug，不做处理了：

比如colornames颜色我只设了6个，y轴最大值才设了5000，

折线图的x轴，代表的是起薪点。理想的应该是薪资区间的中值。

 

..