python使用自定义user-agent抓取网页的方法

151 阅读 0 评论 100 点赞

我是靠谱客的博主清脆棒棒糖，最近开发中收集的这篇文章主要介绍python使用自定义user-agent抓取网页的方法，觉得挺不错的，现在分享给大家，希望可以做个参考。

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。