python爬虫连接redis数据库

定义一个redis_util类

from scrapy.utils.project import get_project_settings
import redis

class RedisUtil:
    r = {}
    def __init__(self):
        self.settings = get_project_settings()
        host = self.settings.get('REDIS_HOST')
        port = self.settings.get('REDIS_PORT')
        user = self.settings.get('REDIS_USER')
        password = self.settings.get('REDIS_PASSWORD')
        if len(RedisUtil.r.keys()) < 1:
            RedisUtil.r = redis.Redis(host=host, port=port, username=user, password=password, single_connection_client=True, decode_responses=True)

调用方法：

redis = RedisUtil()
if redis.r.get('proxy_host') == None:
    #获取代理地址
    try:
        proxy_host = get_proxy().get('ip')
        proxy_port = get_proxy().get('port')
        # 存入redis
        redis.r.set('proxy_host', proxy_host)
        redis.r.set('proxy_port', proxy_port)
    except Exception as e:
        raise e

最后

以上就是粗心芝麻为你收集整理的python爬虫连接redis数据库的全部内容，希望文章能够帮你解决python爬虫连接redis数据库所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。