Java selenium 爬虫笔记

1.下载谷歌浏览器驱动包

注意浏览器版本和驱动包版本要对应

2.引入selenium jar

<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.141.59</version>
</dependency>

注意selenium与驱动包版本要对应

3.实现代码

public static void main(String[] args) throws InterruptedException {
//驱动路径配置到环境变量
System.setProperty("webdriver.chrome.driver", "F:\\git_workspaces\\crawler\\driver\\chromedriver.exe");
//chrome浏览器配置
ChromeOptions options = new ChromeOptions();
//是否使用无头浏览器（无头浏览器：没有GUI）
//
options.addArguments("--headless"); //
//初始化驱动
WebDriver driver = new ChromeDriver(options);
driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
driver.get("https://www.douban.com/"); //访问豆瓣官网
driver.switchTo().frame(0); //iframe默认不会在页面源代码，所以需要定位到iframe
driver.findElement(By.cssSelector(".account-tab-account")).click(); //选择密码登录
driver.findElement(By.id("username")).sendKeys("********"); //账号
driver.findElement(By.id("password")).sendKeys("********"); //密码
driver.findElement(By.className("account-form-field-submit")).click(); //登录提交
Thread.sleep(5000); //登录后跳到另一个页面，给5s等待时间再去获取元素
/**
* 获取你需要的元素
*/
driver.findElement(By.xpath("/html/body/div[2]/div/div/div[3]/ul/li[3]")).click();
List<WebElement> elements = driver.findElement(By.id("gallery_main_frame")).findElements(By.className("item"));
for (WebElement webElement : elements) {
String text = webElement.findElement(By.className("topic-preview")).getText();
System.out.println(text);
}
}

记录成长，热爱生活！

最后

以上就是缓慢雪碧为你收集整理的Java selenium 爬虫笔记的全部内容，希望文章能够帮你解决Java selenium 爬虫笔记所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。