欢迎来到银盒子的世界~
如题,线上的airflow运行一段时间后,某日打开airflow后一看,原本40+的任务,现在竟然只展示了3个,并且3个任务都显示状态错误。
上服务器一看,airlfow的日志已经有了200G,把服务器的空间占满了。
初步怀疑是这个导致的,所以进入项目的log目录一看。
cd /etc/airflow/logs/ du -hd1
发现占用了大部分空间的日志是scheduler目录下的文件,占用了170G+
那问题就基本定位到了,用find,把两个月前的文件全部删除就可
find /etc/airflow/logs/scheduler -type f -mtime +60 -delete
删除后再去前端ui一看,任务已经全部展示出来了,完美解决