我是靠谱客的博主 威武背包,最近开发中收集的这篇文章主要介绍【爬虫]python数据爬虫——数据分析师岗位基本信息爬取(二)运用openpyxl将爬取信息存入excel表中,觉得挺不错的,现在分享给大家,希望可以做个参考。
概述
另一种方法,移步:爬取信息存入excel表
他使用的是lxml,而下面使用是openpyxl,方法没有好坏,掌握多了,才能灵活运用。在此再次感谢该博主。
```python
from requests_html import HTMLSession
from openpyxl import Workbook
import time
wb=Workbook()
ws=wb.active
session = HTMLSession()
ws.append(['职位','公司名','工作地点','薪资'])
def my_url(m):
while m>0:
p=m-(m-1)
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,{}.html'.format(p)
r = session.get(url)
for n in range(4,54):
workname = r.html.xpath(('//*[@id="resultList"]/div[{}]/p/span/a/@title').format(n))[0]##职位
company=r.html.xpath(('//*[@id="resultList"]/div[{}]/span[1]/a/@title').format(n))[0]#公司名
address=r.html.xpath(('//*[@id="resultList"]/div[{}]/span[2]/text()').format(n))[0]#工作地点
money=r.html.xpath(('//*[@id="resultList"]/div[{}]/span[3]/text()').format(n))#薪资
if len(money)==0:
money=''
else:
money = r.html.xpath(('//*[@id="resultList"]/div[{}]/span[3]/text()').format(n))[0]
# 薪资
print("第(",(n-3),")条:",workname,company,address,money)
ws.append([workname,company,address,money])
wb.save('3python数据爬虫——数据分析师岗位基本信息爬取.xlsx')
time.sleep(1)
# 时间间隔。防止被封IP
p=p+1
m=m-1
print(m)
print(p)
else:
return
if __name__=='__main__':
# num=int(input('请输入要爬取的页数:'))
# my_url(num)
my_url(2)
最后
以上就是威武背包为你收集整理的【爬虫]python数据爬虫——数据分析师岗位基本信息爬取(二)运用openpyxl将爬取信息存入excel表中的全部内容,希望文章能够帮你解决【爬虫]python数据爬虫——数据分析师岗位基本信息爬取(二)运用openpyxl将爬取信息存入excel表中所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复