概述
爬取疫情数据并转入csv
之前有个小组作业是做关于疫情数据的爬取的,查了很多资料才弄好,现在来分享一下我的部份操作代码。
import requests
import json
import pandas as pd
#下面是全球的数据的获取
url4="https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoGlobalStatis,FAutoContinentStatis,FAutoGlobalDailyList,FAutoCountryConfirmAdd"
headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}#设置请求头,反反爬虫
rqq=requests.get(url4,timeout=30,headers=headers)#设置请求参数,获取网页数据
#因为获取的是json格式,通过json.load()将json格式字符串转换为列表
data_wd=json.loads(rqq.text)
#因为data_c列表中的‘data’里又嵌套了一个json,所以要再loads一次
word_d=data_wd['data']['FAutoGlobalDailyList']
#获取全球疫情日期、确诊人数、疑似人数、死亡人数、治愈人数
total3=[]
for i in range(0,len(word_d)):
total3.append([word_d[i]['date'],word_d[i]['all']['confirm'],
word_d[i]['all']['dead'],word_d[i]['all']['heal'], word_d[i]['all']['deadRate'],word_d[i]['all']['healRate']])
print(total3)#查看
world_daily=pd.DataFrame(total3,index=range(0,len(word_d)),columns=['日期','确诊人数','死亡人数','治愈人数','死亡率','治愈率'])
world_daily['日期']=world_daily['日期'].str.replace('.','/')
world_daily.head()
#写入csv
world_daily.to_csv('data.csv',encoding="utf_8_sig")
注意csv的名称可以更改自己想要的名称,如果csv部份报错的话,就导入import csv。
最后
以上就是爱撒娇缘分为你收集整理的爬取疫情数据并转入csv的全部内容,希望文章能够帮你解决爬取疫情数据并转入csv所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复