针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容

96 阅读 0 评论 64 点赞

我是靠谱客的博主风中小蘑菇，这篇文章主要介绍针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容，现在分享给大家，希望可以做个参考。

有时网站使用了懒加载技术：只有在浏览器中纵向滚动条滚动到指定的位置时，页面的元素才会被动态加载。注意，在加载之前，selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
def scroll_until_loaded(self):
check_height = self.browser.execute_script("return document.body.scrollHeight;")
while True:
self.browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
try:
self.wait.until(lambda driver: self.browser.execute_script("return document.body.scrollHeight;") > check_height)
check_height = self.browser.execute_script("return document.body.scrollHeight;")
except TimeoutException:
break