气流:日志文件不是本地的,不支持的远程日志位置

我无法看到附加到Airflow UI任务的日志: 在这里输入图像描述

airflow.cfg文件中的日志相关设置为:

  • remote_base_log_folder =
  • base_log_folder = /home/my_projects/ksaprice_project/airflow/logs
  • worker_log_server_port = 8793
  • child_process_log_directory = /home/my_projects/ksaprice_project/airflow/logs/scheduler
  • 虽然我正在设置remote_base_log_folter,但它试图从http://:8793/log/tutorial/print_date/2017-08-02T00:00:00获取日志 - 我不理解这种行为。 根据这些设置,工作人员应该将日志存储在/home/my_projects/ksaprice_project/airflow/logs ,并且应该从相同位置而不是远程获取/home/my_projects/ksaprice_project/airflow/logs

    更新 task_instance表的内容: 在这里输入图像描述


    我也面临同样的问题。

    airflow.cfg设置下面的变量为我工作。 使用{hostname}作为机器的FQDN {hostname}而不是localhost。

    endpoint_url = http://{hostname}:8080
    
    base_url = http://{hostname}:8080
    

    祝你好运!


    我也遇到了这个问题,不得不取消暂停任务。

    dags_are_paused_at_creation = False
    

    我还设置了新的默认设置为在我的airflow.cfg中未暂停

    dags_are_paused_at_creation = False
    

    正如你在image-1中看到的那样,有一个时间戳记,确保你的日志中有这个时间戳记的文件夹/文件作为名字。

    您正在查看UI,因此首先确保您在目录中创建了日志文件,在我的情况下,我的日志文件夹看起来像

    (AIRFLOW-ENV) [cloudera@quickstart dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task 
    total 8
    -rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
    -rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
    (AIRFLOW-ENV) [cloudera@quickstart dags]$ 
    

    所以我的日志网址是

    http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727
    

    当您转到DAG并选择GRAPH-VIEW时,可以看到“RUN”旁边的下拉列表,选择适当的运行,然后在下面的图形视图中选择适当的任务/操作员并选择查看日志

    链接地址: http://www.djcxy.com/p/40141.html

    上一篇: Airflow: Log file isn't local, Unsupported remote log location

    下一篇: Azure Cosmos DB Update Pattern