airflow运行一段时间后,前端ui忽然不展示大部分的任务

 nadia     2023-08-07     521     0   

欢迎来到银盒子的世界~

如题,线上的airflow运行一段时间后,某日打开airflow后一看,原本40+的任务,现在竟然只展示了3个,并且3个任务都显示状态错误。

上服务器一看,airlfow的日志已经有了200G,把服务器的空间占满了。

初步怀疑是这个导致的,所以进入项目的log目录一看。

cd /etc/airflow/logs/
du -hd1

发现占用了大部分空间的日志是scheduler目录下的文件,占用了170G+

那问题就基本定位到了,用find,把两个月前的文件全部删除就可

find /etc/airflow/logs/scheduler -type f -mtime +60 -delete

删除后再去前端ui一看,任务已经全部展示出来了,完美解决


发表评论