我是靠谱客的博主 粗暴项链,这篇文章主要介绍python爬虫之如何获取百度搜索结果的真实URL,现在分享给大家,希望可以做个参考。

最近在编写一个BaiduSpider代码,

        通过pyquery的history属性,发现baidu这些连接大多进行了redirect(http 302),但是有一部分链接是直接获得了http200回复。对于从百度爬取的加密的url,进行requests.get()时不允许跳转(allow_redirects=False)。然后针对这两类服务器回复分别处理:
    http 302跳转:从headers中的'location'可以获得原始url;
    http 200回复:从content中通过正则表达式获取原始url

 try:
href = so.a.get('href')
# 对于从百度爬取的加密的url,进行requests.get()时不允许跳转
# 这个链接请求会发生302跳转,而跳转的地址正是302返回的头部地址中location,也就是你要的地址
baidu_url = requests.get(url=href, headers=headers, allow_redirects=False, proxies=proxies)
#得到网页原始地址
real_url = baidu_url.headers['Location']
if real_url.startswith('http'):
g_mu = real_url
except:
# baidu_url._next.url 另一种方法
g_mu = baidu_url._next.url
print('跳过!!')
pass

最后

以上就是粗暴项链最近收集整理的关于python爬虫之如何获取百度搜索结果的真实URL的全部内容,更多相关python爬虫之如何获取百度搜索结果内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(49)

评论列表共有 0 条评论

立即
投稿
返回
顶部