airflow报错mysql连接超时已断开问题解决

问题现象就是：

使用mysql作为airflow的后台数据库存储。我们已经在airflow.cfg配置文件中设置了sql_alchemy_pool_recycle=1800，但是没有起作用，在mysql那边默认8小时以后，没有请求来的连接会在服务端被断开，但是airflow的worker还是在使用就会导致报错：

MySQLdb._exceptions.OperationalError: (4031, 'The client was disconnected by the server because of inactivity. See wait_timeout and interactive_timeout for configuring this behavior.')

其实该配置是有用的，但是是对airflow自己写的代码里使用的sqlalchemy有用，对里面使用的celery组件无用，该配置不在这里，需要去airflow.cfg中配置celery_config_options选项，该值默认是

celery_config_options = airflow.config_templates.default_celery.DEFAULT_CELERY_CONFIG。

我们要做的就是去airflow的安装目录下，到目录airflow/config_templates/default_celery.py文件拷贝出来到dags目录下，然后增加配置database_engine_options到DEFAULT_CELERY_CONFIG里，如下：

然后修改配置celery_config_options = default_celery.DEFAULT_CELERY_CONFIG即可

最后

以上就是爱笑铃铛为你收集整理的airflow报错mysql连接超时已断开问题解决的全部内容，希望文章能够帮你解决airflow报错mysql连接超时已断开问题解决所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。