python爬虫：网址无法请求和某一特定链接求取方法

首先说一下，我开这个博客，写博客主要是为了记录自己平时学习研究过程中的重点问题，可能格式，表达什么的都会很乱。当然，如果我的问题对大家有所帮助那就更好了，因为我也是一个新人。

很多人在用python爬虫时可能会遇到网址无法请求，这是因为很多网页都是加密的，所以我们需要设定特定的headers。

res = requests.get("http://www.qichacha.com/search?key=%E6%B1%9F%E8%8B%8F%E4%B8%9C%E7%BD%91%E4%BF%A1%E6%81%AF%E7%
A7%91%E6%8A%80%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8')"      当你get 这么一个网址的时候可能在print  res时发现返回的是405，这就表明get请求不行，而有人可能会用别的post什么的请求，

但是我找到了设置headers的方法：headers={ 'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) 
AppleWebKit/534.20 (KHTML, like Gecko) Chrome/11.0.672.2 Safari/534.20' })         

加上这段代码会发现返回200正确。       这个设定值好像是匹配浏览器的，基本都能用，如果不能用那你就重新找：

如上图，你想获取a href后面这一个链接怎么办？很多人可能用BeautifulSoup，正则什么的都可以获得，但是我找了很久还是没有找到很有效简明的方法，所以我还有我那个webdrivr，

代码如下：results = driver.find_element_by_xpath("//tr[2]//td/a[@class='ma_h1']").get_attribute('href')

#可以获取此路径下的一个链接（是点进去之后的网址的链接，所以是完整的和当前源代码中的有差别），
注意这里是element没有s其他对应链接修改路径均可获得。

最后

以上就是细腻指甲油为你收集整理的python爬虫：网址无法请求和某一特定链接求取方法的全部内容，希望文章能够帮你解决python爬虫：网址无法请求和某一特定链接求取方法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。