概述
爬取源数据：以科研之友为例
"""
科研之友单个学者主页爬取网页数据框架
"""
import requests
headers = {'User-Agent': 'Mozilla/5.0'}
def getHTMLText(url):
try:
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = 'r.apparent_encoding'
demo = r.text
print(demo)
except:
print("爬取失败")
if __name__ == "__main__":
url = "https://www.scholarmate.com/psnweb/outside/homepage?des3PsnId=77pmYOP1McoHSjoS0FT1BQ%3D%3D"
print(getHTMLText(url))
最后
以上就是知性狗为你收集整理的爬虫1 科研之友单个学者主页爬取网页数据框架的全部内容，希望文章能够帮你解决爬虫1 科研之友单个学者主页爬取网页数据框架所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![[随想] 记录做学术、搞科研过程中的感悟及思考 （有空就更新）](/uploads/reation/bcimg4.png)
发表评论 取消回复