ChromeDriver中的PageSource返回 的问题

由于PhantomJS停止开发，爬虫改用ChromeDriver，遇到如题问题，与大家分享。

我觉得应该是ChromeDriver的问题，没有找到官方的方法，其他的driver或许也有类似问题，没有测试

如果请求页面里面包含空格占位符 ，PageSource不会返回 ，而是返回不可见字符来代替，这样做在页面渲染的时候没有问题，但是想取得页面source的时候就会导致页面不正确，该显示空格的地方显示成了？号。

获取页面html的代码通常这样写，html中 会被替换成不可见字符

driver.Navigate().GoToUrl(url);
string html = driver.PageSource;

在网上参照了下面的文章

https://github.com/GoogleChrome/puppeteer/issues/406

https://github.com/jeresig/puppeteer/commit/861d76dfbce9adbcaf4bf1061927396dadceea6a

代码修改如下，不用PageSource，而是通过js来获取source，代码中保留PageSource的目的是等待html加载完成

driver.Navigate().GoToUrl(url);
IJavaScriptExecutor js = (IJavaScriptExecutor)driver;
string html = driver.PageSource;
string getContent = @"
let retVal = '';
const doctype = document.doctype;
if (doctype) {
// DOCTYPE serialization algorithm based on:
// https://stackoverflow.com/a/10162353
retVal = '<!DOCTYPE '
+ doctype.name
+ (doctype.publicId
? ` PUBLIC ""${doctype.publicId}""`
: doctype.systemId ? ' SYSTEM' : '')
+ (doctype.systemId ? ` ""${doctype.systemId}""` : '')
+ '>';
}
if (document.documentElement)
retVal += document.documentElement.outerHTML;
return retVal;
";
html = (string)js.ExecuteScript(getContent);

最后

以上就是热心龙猫为你收集整理的ChromeDriver中的PageSource返回 的问题的全部内容，希望文章能够帮你解决ChromeDriver中的PageSource返回 的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。