气流:日志文件不是本地的,不支持的远程日志位置
我无法看到附加到Airflow UI任务的日志:
airflow.cfg文件中的日志相关设置为:
remote_base_log_folder =
base_log_folder = /home/my_projects/ksaprice_project/airflow/logs
worker_log_server_port = 8793
child_process_log_directory = /home/my_projects/ksaprice_project/airflow/logs/scheduler
虽然我正在设置remote_base_log_folter,但它试图从http://:8793/log/tutorial/print_date/2017-08-02T00:00:00
获取日志 - 我不理解这种行为。 根据这些设置,工作人员应该将日志存储在/home/my_projects/ksaprice_project/airflow/logs
,并且应该从相同位置而不是远程获取/home/my_projects/ksaprice_project/airflow/logs
。
更新 task_instance表的内容:
我也面临同样的问题。
在airflow.cfg
设置下面的变量为我工作。 使用{hostname}
作为机器的FQDN {hostname}
而不是localhost。
endpoint_url = http://{hostname}:8080
base_url = http://{hostname}:8080
祝你好运!
我也遇到了这个问题,不得不取消暂停任务。
dags_are_paused_at_creation = False
我还设置了新的默认设置为在我的airflow.cfg中未暂停
dags_are_paused_at_creation = False
正如你在image-1中看到的那样,有一个时间戳记,确保你的日志中有这个时间戳记的文件夹/文件作为名字。
您正在查看UI,因此首先确保您在目录中创建了日志文件,在我的情况下,我的日志文件夹看起来像
(AIRFLOW-ENV) [cloudera@quickstart dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task
total 8
-rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
-rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
(AIRFLOW-ENV) [cloudera@quickstart dags]$
所以我的日志网址是
http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727
当您转到DAG并选择GRAPH-VIEW时,可以看到“RUN”旁边的下拉列表,选择适当的运行,然后在下面的图形视图中选择适当的任务/操作员并选择查看日志
链接地址: http://www.djcxy.com/p/40141.html上一篇: Airflow: Log file isn't local, Unsupported remote log location