selenium打开的网页如果不关闭，page_source的内容会叠加selenium打开的网页如果不关闭，page_source的内容会叠加

57 阅读 0 评论 38 点赞

我是靠谱客的博主从容八宝粥，最近开发中收集的这篇文章主要介绍selenium打开的网页如果不关闭，page_source的内容会叠加selenium打开的网页如果不关闭，page_source的内容会叠加，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

selenium打开的网页如果不关闭，page_source的内容会叠加

如题，我在爬网页的时候发现如果不关闭当前页面，得到的爬取结果就是后一个文档包含了前面所有文档的内容，请问这是什么原因呢，如何才能解决这个问题？

代码如下

# 抓取一张网页审查元素(成功)
from selenium import webdriver
from time import sleep,ctime
import requests
import re
# 模仿模拟器发送打开网页请求
driver = webdriver.Chrome()
driver.get('https://doc.babylonjs.com/playground/?code=scene&page=2')
# 延迟60秒，保证源代码完整性
sleep(30)
sourcePage = driver.page_source
# 测试结果，可以注释
# print(sourcePage)
#用正则表达式提取网址集合
dl = re.findall(r'<div class="result ">.*?<footer class="footer">', sourcePage, re.S)[0]
chapter_info_list = re.findall(r'''<a href="(.*?)" id="linkplayground''', dl)
#提示开始运行
print("start this round...")
a=1
defaultword = "var createScene = function"
for chapter_info in chapter_info_list:
#抓取网址集合里第i条，打开该网页
driver.get(chapter_info)
#打开后延迟两秒，保证抓取
sleep(20)
#抓取网页全部代码
objectivePage = driver.page_source
#筛选出所需部分
dll = re.findall(r'<script type="text/javascript">try {var createScene = function(.*?)<body>', objectivePage, re.S)
# 新建一个文件夹，保存内容
name = chapter_info[38:]
fb = open('%s.html' % name, 'w', encoding='utf-8')
fb.write(defaultword)
fb.write(dll[0])
fb.close()
print(a)
print(" is done")
a+=1

此代码得到的结果就是后一个文档覆盖前面所有文档的内容，比如
文档1 ABC
文档2 ABCEFG
文档3 ABCEFGGKL
后我想到每次爬取时都关闭上次打开过的页面（用driver.close()），该问题得到了解决。
但是每次打开关闭页面非常费时而且容易卡死，请问各位大佬有什么好办法能无需关闭页面就能解决这种覆盖的问题呢？