python爬虫之如何获取百度搜索结果的真实URL

最近在编写一个BaiduSpider代码，

        通过pyquery的history属性，发现baidu这些连接大多进行了redirect（http 302），但是有一部分链接是直接获得了http200回复。对于从百度爬取的加密的url，进行requests.get()时不允许跳转（allow_redirects=False）。然后针对这两类服务器回复分别处理：
    http 302跳转：从headers中的'location'可以获得原始url；
    http 200回复：从content中通过正则表达式获取原始url

 try:
href = so.a.get('href')
# 对于从百度爬取的加密的url，进行requests.get()时不允许跳转
# 这个链接请求会发生302跳转,而跳转的地址正是302返回的头部地址中location,也就是你要的地址
baidu_url = requests.get(url=href, headers=headers, allow_redirects=False, proxies=proxies)
#得到网页原始地址
real_url = baidu_url.headers['Location']
if real_url.startswith('http'):
g_mu = real_url
except:
# baidu_url._next.url 另一种方法
g_mu = baidu_url._next.url
print('跳过!!')
pass

最后

以上就是粗暴项链为你收集整理的python爬虫之如何获取百度搜索结果的真实URL的全部内容，希望文章能够帮你解决python爬虫之如何获取百度搜索结果的真实URL所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。