python爬虫

77 阅读 0 评论 51 点赞

我是靠谱客的博主正直黑夜，这篇文章主要介绍python爬虫，现在分享给大家，希望可以做个参考。

以https://www.sciencedirect.com/为例，测试request网络100次网络爬虫所需要的时间

import requests 
import time
 
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "产生异常"
def main():
	start=time.time()
	for i in range(1,101):
		getHTMLText(url)
		print("第{}次爬取成功".format(i))
	end=time.time()
	return end - start

url="https://www.sciencedirect.com/"

if __name__ == '__main__':
	time = main()
	print("爬取'{}'100次所需时间：{:.3f}秒".format(url,time))
	print("每爬取一次'{}'100次所需时间：{:.3f}秒".format(url,time/100))