激动往事

文章
6
资源
0
加入时间
2年10月24天

Session提高requests的抓取速度小技巧

使用requests抓取数据的时候,爬虫会模拟浏览器的行为,但是可能不知道,当打开一个网页的时候,requests.get()可能速度很快,但是如果几十个上百个网址的时候呢,这个差距就出来了,例如下面。import requestsimport timestart = time.time()for _ in range(100): resp = requests.get('ht...