Apache Airflow MCP服务器

为Apache Airflow实现的模型上下文协议(MCP)服务器,提供标准化的API接口与DAG管理功能,适用于工作流自动化场景。

  • by yangkyeongmo
  • Python
  • 本地部署
  • 181 星标
  • 更新于
在 GitHub 查看 yangkyeongmo/mcp-server-apache-airflow

使用说明

MCP服务器-Apache Airflow

为Apache Airflow实现了一个模型上下文协议(MCP)服务器,使其能够与MCP客户端无缝集成。此项目提供了一种通过模型上下文协议与Apache Airflow进行交互的标准化方式。

关于

这个项目实施了一个 模型上下文协议 封装Apache Airflow REST API的服务器,使MCP客户端能够以标准化的方式与Airflow进行交互。它使用官方的Apache Airflow客户端库来确保兼容性和可维护性。

功能实现状态

功能 API 路径 状态
DAG管理 (此处为空格或留白)
列出有向无环图(DAGs) /api/v1/dags ✅
获取DAG详细信息 /api/v1/dags/{dag_id} ✅
暂停DAG(有向无环图) /api/v1/dags/{dag_id} ✅
恢复DAG(有向无环图)执行 /api/v1/dags/{dag_id} ✅
更新DAG(有向无环图) /api/v1/dags/{dag_id} ✅
删除DAG /api/v1/dags/{dag_id} ✅
获取DAG源码 /api/v1/dagSources/{file_token} ✅
修补多个有向无环图(DAGs) /api/v1/dags ✅
重新解析DAG文件 /api/v1/dagSources/{file_token}/reparse ✅
DAG 运行 (此处为空白或未填写内容)
列出DAG运行实例 /api/v1/dags/{dag_id}/dagRuns ✅
创建DAG运行实例 /api/v1/dags/{dag_id}/dagRuns ✅
获取DAG运行详情 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id} ✅
更新DAG运行状态 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id} ✅
删除DAG运行实例 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id} ✅
获取DAG运行批次 /api/v1/dags/~/dagRuns/list ✅
清除DAG运行 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/clear ✅
设置DAG运行备注 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/setNote ✅
获取上游数据集事件 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/upstreamDatasetEvents ✅
任务
列出DAG任务 /api/v1/dags/{dag_id}/tasks ✅
获取任务详情 /api/v1/dags/{dag_id}/tasks/{task_id} ✅
获取任务实例 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id} ✅
列出任务实例 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances ✅
更新任务实例 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id} ✅
获取任务实例日志 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/logs/{task_try_number} ✅
清除任务实例 /api/v1/dags/{dag_id}/clearTaskInstances ✅
设置任务实例状态 /api/v1/dags/{dag_id}/updateTaskInstancesState ✅
列出任务实例尝试 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/tries ✅
变量 (此处可留空或根据上下文添加具体内容)
列出变量 /api/v1/variables ✅
创建变量 /api/v1/variables ✅
获取变量 /api/v1/variables/{variable_key} ✅
更新变量 /api/v1/variables/{variable_key} ✅
删除变量 /api/v1/variables/{variable_key} ✅
联系/连接 (此处为空白)
列出连接 /api/v1/connections ✅
创建连接 /api/v1/connections ✅
获取连接 /api/v1/connections/{connection_id} ✅
更新连接 /api/v1/connections/{connection_id} ✅
删除连接 /api/v1/connections/{connection_id} ✅
测试连接 /api/v1/connections/test ✅
游泳池 (此处为空白或无内容)
列出池(或“列出资源池”) /api/v1/pools ✅
创建池 /api/v1/pools ✅
获取池(或“获取资源池”) /api/v1/pools/{pool_name} ✅
更新池(或更新集合) /api/v1/pools/{pool_name} ✅
删除池组 /api/v1/pools/{pool_name} ✅
XComs(通常指“X-Com”系列游戏,可译为“X战警”系列,但具体翻译需根据上下文确定,此处为直译) (此处可理解为一个空白或未填写的内容)
列出 XComs /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/xcomEntries ✅
获取XCom条目 /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/xcomEntries/{xcom_key} ✅
数据集
列出数据集 /api/v1/datasets ✅
获取数据集 /api/v1/datasets/{uri} ✅
获取数据集事件 /api/v1/datasetEvents ✅
创建数据集事件 /api/v1/datasetEvents ✅
获取DAG数据集排队事件 /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents/{uri} ✅
获取DAG数据集排队事件 /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents ✅
删除DAG数据集排队事件 /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents/{uri} ✅
删除DAG数据集排队事件 /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents ✅
获取数据集排队事件 /api/v1/datasets/{uri}/dagRuns/queued/datasetEvents ✅
删除数据集排队事件 /api/v1/datasets/{uri}/dagRuns/queued/datasetEvents ✅
监测
获取健康信息 /api/v1/health ✅
DAG Stats(有向无环图统计)
获取DAG统计信息 /api/v1/dags/statistics ✅
配置
获取配置 /api/v1/config ✅
插件 (此处为空白或未填写内容)
获取插件 /api/v1/plugins ✅ (翻译为中文可保持原样,表示“正确”或“已确认”,若需解释性翻译可为“正确/已确认”)
服务提供者
列出提供商 /api/v1/providers ✅
事件日志
列出事件日志 /api/v1/eventLogs ✅
获取事件日志 /api/v1/eventLogs/{event_log_id} ✅
系统
获取导入错误 /api/v1/importErrors ✅
获取导入错误详情 /api/v1/importErrors/{import_error_id} ✅
获取健康状态 /api/v1/health ✅
获取版本号 /api/v1/version ✅ (译文:

设置

依赖项

这个项目依赖于官方的Apache Airflow客户端库(apache-airflow-client)。 当你安装这个包时,它会自动安装。

环境变量

设置以下环境变量:

AIRFLOW_HOST=<your-airflow-host>        # Optional, defaults to http://localhost:8080
AIRFLOW_API_VERSION=v1                  # Optional, defaults to v1
READ_ONLY=true                          # Optional, enables read-only mode (true/false, defaults to false)

认证

选择以下认证方法之一:

基本身份验证(默认):

AIRFLOW_USERNAME=<your-airflow-username>
AIRFLOW_PASSWORD=<your-airflow-password>

JWT令牌认证:

AIRFLOW_JWT_TOKEN=<your-jwt-token>

要获取JWT令牌,您可以使用Airflow的认证端点:

ENDPOINT_URL="http://localhost:8080"  # Replace with your Airflow endpoint
curl -X 'POST' \
  "${ENDPOINT_URL}/auth/token" \
  -H 'Content-Type: application/json' \
  -d '{ "username": "<your-username>", "password": "<your-password>" }'

注如果同时提供了JWT令牌和基本身份验证凭据,则以JWT令牌为准。

与Claude桌面版的使用

添加到您的 claude_desktop_config.json:

基本认证:

{
  "mcpServers": {
    "mcp-server-apache-airflow": {
      "command": "uvx",
      "args": ["mcp-server-apache-airflow"],
      "env": {
        "AIRFLOW_HOST": "https://your-airflow-host",
        "AIRFLOW_USERNAME": "your-username",
        "AIRFLOW_PASSWORD": "your-password"
      }
    }
  }
}

JWT令牌认证:

{
  "mcpServers": {
    "mcp-server-apache-airflow": {
      "command": "uvx",
      "args": ["mcp-server-apache-airflow"],
      "env": {
        "AIRFLOW_HOST": "https://your-airflow-host",
        "AIRFLOW_JWT_TOKEN": "your-jwt-token"
      }
    }
  }
}

对于只读模式(为安全起见,建议使用):

基本身份验证:

{
  "mcpServers": {
    "mcp-server-apache-airflow": {
      "command": "uvx",
      "args": ["mcp-server-apache-airflow"],
      "env": {
        "AIRFLOW_HOST": "https://your-airflow-host",
        "AIRFLOW_USERNAME": "your-username",
        "AIRFLOW_PASSWORD": "your-password",
        "READ_ONLY": "true"
      }
    }
  }
}

JWT令牌认证:

{
  "mcpServers": {
    "mcp-server-apache-airflow": {
      "command": "uvx",
      "args": ["mcp-server-apache-airflow", "--read-only"],
      "env": {
        "AIRFLOW_HOST": "https://your-airflow-host",
        "AIRFLOW_JWT_TOKEN": "your-jwt-token"
      }
    }
  }
}

使用替代配置 uv:

基本认证:

{
  "mcpServers": {
    "mcp-server-apache-airflow": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/mcp-server-apache-airflow",
        "run",
        "mcp-server-apache-airflow"
      ],
      "env": {
        "AIRFLOW_HOST": "https://your-airflow-host",
        "AIRFLOW_USERNAME": "your-username",
        "AIRFLOW_PASSWORD": "your-password"
      }
    }
  }
}

JWT Token 认证:

{
  "mcpServers": {
    "mcp-server-apache-airflow": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/mcp-server-apache-airflow",
        "run",
        "mcp-server-apache-airflow"
      ],
      "env": {
        "AIRFLOW_HOST": "https://your-airflow-host",
        "AIRFLOW_JWT_TOKEN": "your-jwt-token"
      }
    }
  }
}

替换 /path/to/mcp-server-apache-airflow 以及你克隆仓库的实际路径。

选择API组

您可以通过设置来选择您想要使用的API组 --apis 旗帜。

uv run mcp-server-apache-airflow --apis dag --apis dagrun

默认使用所有API。

允许的值为:

  • 配置
  • 连接
  • 白天
  • “dagrun”可以翻译为“日常运行”或“日常任务”,具体含义取决于上下文。如果是指计算机或系统领域的术语,可能指的是系统的日常运行流程或任务安排。在更广泛的语境中,它也可以理解为日常的、常规的活动或工作
  • “dagstats”可以翻译为“每日统计”。不过,这个词汇并不是一个标准的中文表达,它可能是根据英文原词直译过来的。在中文中,我们更常用“每日统计数据”或“日统计”来描述类似的概念。
  • 数据集
  • 事件日志
  • 导入错误
  • 监测
  • 插件
  • 泳池
  • 提供者
  • 任务实例
  • 变量
  • XCOM(通常指《XCOM》系列游戏,一款经典的策略类游戏)

只读模式

你可以通过使用以下方法以只读模式运行服务器: --read-only 通过设置标志或通过设置 READ_ONLY=true 环境变量。这将仅暴露执行读取操作(GET 请求)的工具,并排除任何创建、更新或删除资源的工具。

使用命令行标志:

uv run mcp-server-apache-airflow --read-only

使用环境变量:

READ_ONLY=true uv run mcp-server-apache-airflow

在只读模式下,服务器将仅提供以下工具:

  • 列出有向无环图(DAGs)、DAG运行、任务、变量、连接等。
  • 获取特定资源的详细信息
  • 读取配置并监控信息
  • 测试连接(非破坏性)

在只读模式下,无法执行创建、更新、删除DAG(有向无环图)、变量、连接,以及触发DAG运行等写入操作。

您可以将只读模式与API组选择结合使用:

uv run mcp-server-apache-airflow --read-only --apis dag --apis variable

手动执行

你也可以手动运行服务器:

make run

make run 接受以下选项:

选项:

  • --port用于SSE监听的端口(默认:8000)
  • --transport传输类型(stdio/sse/http,默认:stdio)

或者,您可以直接运行 SSE 服务器,它接受相同的参数:

make run-sse

此外,您可以直接使用以下方式启动服务 uv 如下命令所示:

uv run src --transport http --port 8080

通过Smithery进行安装

通过自动方式为Claude Desktop安装Apache Airflow MCP服务器 Smithery(注:此词在标准英语中并不常见,可能是特定语境或行业内的术语,直译为“史密斯工坊”或“史密斯制造”可能不完全准确,具体含义需根据上下文确定。若作为专有名词或品牌名,可保持原样或根据品牌官方译名翻译。):

npx -y @smithery/cli install @yangkyeongmo/mcp-server-apache-airflow --client claude

发展

设置开发环境

  1. 克隆仓库:
git clone https://github.com/yangkyeongmo/mcp-server-apache-airflow.git
cd mcp-server-apache-airflow
  1. 安装开发依赖项:
uv sync --dev
  1. 创建一个 .env 环境变量文件(开发时可选):
touch .env

注运行测试不需要设置任何环境变量 AIRFLOW_HOST 默认为 http://localhost:8080 用于开发和测试目的。

运行测试

该项目使用 pytest 进行测试,可用命令如下:

# Run all tests
make test

代码质量

# Run linting
make lint

# Run code formatting
make format

持续集成

该项目包含一个GitHub Actions工作流(.github/workflows/test.yml)自动地:

  • 在 Python 3.10、3.11 和 3.12 上运行测试
  • 使用 ruff 执行代码规范检查
  • 在每次推送和拉取请求时运行 main 分支

CI(持续集成)流水线确保在任何更改合并之前,代码质量和兼容性都能在所有支持的Python版本上得到保证。

做出贡献

欢迎贡献!请随时提交拉取请求。

当项目版本(project.version)更新时,该包会自动部署到PyPI pyproject.toml。 遵循语义化版本控制(SemVer)进行版本管理。

请在拉取请求(PR)中包含版本更新,以便将更改应用于核心逻辑。

许可证

麻省理工学院许可证(MIT License)