ChromeDriver中的PageSource返回的问题

77 阅读 0 评论 51 点赞

我是靠谱客的博主热心龙猫，这篇文章主要介绍ChromeDriver中的PageSource返回的问题，现在分享给大家，希望可以做个参考。

由于PhantomJS停止开发，爬虫改用ChromeDriver，遇到如题问题，与大家分享。

我觉得应该是ChromeDriver的问题，没有找到官方的方法，其他的driver或许也有类似问题，没有测试

如果请求页面里面包含空格占位符 ，PageSource不会返回 ，而是返回不可见字符来代替，这样做在页面渲染的时候没有问题，但是想取得页面source的时候就会导致页面不正确，该显示空格的地方显示成了？号。

获取页面html的代码通常这样写，html中 会被替换成不可见字符

复制代码

1
2
3

driver.Navigate().GoToUrl(url);
string html = driver.PageSource;

在网上参照了下面的文章

https://github.com/GoogleChrome/puppeteer/issues/406

https://github.com/jeresig/puppeteer/commit/861d76dfbce9adbcaf4bf1061927396dadceea6a

代码修改如下，不用PageSource，而是通过js来获取source，代码中保留PageSource的目的是等待html加载完成

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

driver.Navigate().GoToUrl(url);
IJavaScriptExecutor js = (IJavaScriptExecutor)driver;
string html = driver.PageSource;
string getContent = @"
let retVal = '';
const doctype = document.doctype;
if (doctype) {
// DOCTYPE serialization algorithm based on:
// https://stackoverflow.com/a/10162353
retVal = '<!DOCTYPE '
+ doctype.name
+ (doctype.publicId
? ` PUBLIC ""${doctype.publicId}""`
: doctype.systemId ? ' SYSTEM' : '')
+ (doctype.systemId ? ` ""${doctype.systemId}""` : '')
+ '>';
}
if (document.documentElement)
retVal += document.documentElement.outerHTML;
return retVal;
";
html = (string)js.ExecuteScript(getContent);