selenium循环爬虫问题解决
一、打开多个浏览器问题循环爬去多个网站时,直接用一下代码: driver = webdriver.Firefox() driver.get(url)这样用循环的方式爬取时,每调用一次driver时,会打开一个浏览器窗口,多次打开会很难受,而且系统也受不了,所以可以用headless操作,不用打开窗口直接获取源码。option = webdriver.FirefoxOptions()o...