我是靠谱客的博主 想人陪红牛,这篇文章主要介绍python爬虫随机获取User-Agent,现在分享给大家,希望可以做个参考。

刚刚学习Python爬虫的小伙伴们应该面临反爬问题,那么初步解决办法除了代理ip还有就是随机生成UA

今天给大家推荐两种随机生成UA的方法,废话不多说了,直接上代码

第一种:

1.导入random模块 :

import random

2.定义一个列表 存放UA,(来源:网上查找,可以去github上查)

list = [{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20130405 Firefox/22.0'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:14.0) Gecko/20100101 Firefox/18.0.1'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20130331 Firefox/21.0'}
]

3.使用random.choice(list)随机获取列表中的一个UA

headers = {'User-Agent':random.choice(list)}


第二种

调用python中的模块,useragent

1.安装fake-useragent

pip install fake-useragent

2.导包

# from fake_useragent import UserAgent
# import random
#
# ua = UserAgent()
# headers = {'User-Agent':ua.random}
# print(headers)

最后

以上就是想人陪红牛最近收集整理的关于python爬虫随机获取User-Agent的全部内容,更多相关python爬虫随机获取User-Agent内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(58)

评论列表共有 0 条评论

立即
投稿
返回
顶部