使用说明
MCP服务器-Apache Airflow
为Apache Airflow实现了一个模型上下文协议(MCP)服务器,使其能够与MCP客户端无缝集成。此项目提供了一种通过模型上下文协议与Apache Airflow进行交互的标准化方式。
关于
这个项目实施了一个 模型上下文协议 封装Apache Airflow REST API的服务器,使MCP客户端能够以标准化的方式与Airflow进行交互。它使用官方的Apache Airflow客户端库来确保兼容性和可维护性。
功能实现状态
| 功能 | API 路径 | 状态 |
|---|---|---|
| DAG管理 | (此处为空格或留白) | |
| 列出有向无环图(DAGs) | /api/v1/dags |
✅ |
| 获取DAG详细信息 | /api/v1/dags/{dag_id} |
✅ |
| 暂停DAG(有向无环图) | /api/v1/dags/{dag_id} |
✅ |
| 恢复DAG(有向无环图)执行 | /api/v1/dags/{dag_id} |
✅ |
| 更新DAG(有向无环图) | /api/v1/dags/{dag_id} |
✅ |
| 删除DAG | /api/v1/dags/{dag_id} |
✅ |
| 获取DAG源码 | /api/v1/dagSources/{file_token} |
✅ |
| 修补多个有向无环图(DAGs) | /api/v1/dags |
✅ |
| 重新解析DAG文件 | /api/v1/dagSources/{file_token}/reparse |
✅ |
| DAG 运行 | (此处为空白或未填写内容) | |
| 列出DAG运行实例 | /api/v1/dags/{dag_id}/dagRuns |
✅ |
| 创建DAG运行实例 | /api/v1/dags/{dag_id}/dagRuns |
✅ |
| 获取DAG运行详情 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id} |
✅ |
| 更新DAG运行状态 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id} |
✅ |
| 删除DAG运行实例 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id} |
✅ |
| 获取DAG运行批次 | /api/v1/dags/~/dagRuns/list |
✅ |
| 清除DAG运行 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/clear |
✅ |
| 设置DAG运行备注 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/setNote |
✅ |
| 获取上游数据集事件 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/upstreamDatasetEvents |
✅ |
| 任务 | ||
| 列出DAG任务 | /api/v1/dags/{dag_id}/tasks |
✅ |
| 获取任务详情 | /api/v1/dags/{dag_id}/tasks/{task_id} |
✅ |
| 获取任务实例 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id} |
✅ |
| 列出任务实例 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances |
✅ |
| 更新任务实例 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id} |
✅ |
| 获取任务实例日志 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/logs/{task_try_number} |
✅ |
| 清除任务实例 | /api/v1/dags/{dag_id}/clearTaskInstances |
✅ |
| 设置任务实例状态 | /api/v1/dags/{dag_id}/updateTaskInstancesState |
✅ |
| 列出任务实例尝试 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/tries |
✅ |
| 变量 | (此处可留空或根据上下文添加具体内容) | |
| 列出变量 | /api/v1/variables |
✅ |
| 创建变量 | /api/v1/variables |
✅ |
| 获取变量 | /api/v1/variables/{variable_key} |
✅ |
| 更新变量 | /api/v1/variables/{variable_key} |
✅ |
| 删除变量 | /api/v1/variables/{variable_key} |
✅ |
| 联系/连接 | (此处为空白) | |
| 列出连接 | /api/v1/connections |
✅ |
| 创建连接 | /api/v1/connections |
✅ |
| 获取连接 | /api/v1/connections/{connection_id} |
✅ |
| 更新连接 | /api/v1/connections/{connection_id} |
✅ |
| 删除连接 | /api/v1/connections/{connection_id} |
✅ |
| 测试连接 | /api/v1/connections/test |
✅ |
| 游泳池 | (此处为空白或无内容) | |
| 列出池(或“列出资源池”) | /api/v1/pools |
✅ |
| 创建池 | /api/v1/pools |
✅ |
| 获取池(或“获取资源池”) | /api/v1/pools/{pool_name} |
✅ |
| 更新池(或更新集合) | /api/v1/pools/{pool_name} |
✅ |
| 删除池组 | /api/v1/pools/{pool_name} |
✅ |
| XComs(通常指“X-Com”系列游戏,可译为“X战警”系列,但具体翻译需根据上下文确定,此处为直译) | (此处可理解为一个空白或未填写的内容) | |
| 列出 XComs | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/xcomEntries |
✅ |
| 获取XCom条目 | /api/v1/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/xcomEntries/{xcom_key} |
✅ |
| 数据集 | ||
| 列出数据集 | /api/v1/datasets |
✅ |
| 获取数据集 | /api/v1/datasets/{uri} |
✅ |
| 获取数据集事件 | /api/v1/datasetEvents |
✅ |
| 创建数据集事件 | /api/v1/datasetEvents |
✅ |
| 获取DAG数据集排队事件 | /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents/{uri} |
✅ |
| 获取DAG数据集排队事件 | /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents |
✅ |
| 删除DAG数据集排队事件 | /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents/{uri} |
✅ |
| 删除DAG数据集排队事件 | /api/v1/dags/{dag_id}/dagRuns/queued/datasetEvents |
✅ |
| 获取数据集排队事件 | /api/v1/datasets/{uri}/dagRuns/queued/datasetEvents |
✅ |
| 删除数据集排队事件 | /api/v1/datasets/{uri}/dagRuns/queued/datasetEvents |
✅ |
| 监测 | ||
| 获取健康信息 | /api/v1/health |
✅ |
| DAG Stats(有向无环图统计) | ||
| 获取DAG统计信息 | /api/v1/dags/statistics |
✅ |
| 配置 | ||
| 获取配置 | /api/v1/config |
✅ |
| 插件 | (此处为空白或未填写内容) | |
获取插件 /api/v1/plugins |
✅ | (翻译为中文可保持原样,表示“正确”或“已确认”,若需解释性翻译可为“正确/已确认”) |
| 服务提供者 | ||
| 列出提供商 | /api/v1/providers |
✅ |
| 事件日志 | ||
| 列出事件日志 | /api/v1/eventLogs |
✅ |
| 获取事件日志 | /api/v1/eventLogs/{event_log_id} |
✅ |
| 系统 | ||
| 获取导入错误 | /api/v1/importErrors |
✅ |
| 获取导入错误详情 | /api/v1/importErrors/{import_error_id} |
✅ |
| 获取健康状态 | /api/v1/health |
✅ |
获取版本号 /api/v1/version |
✅ | (译文: |
设置
依赖项
这个项目依赖于官方的Apache Airflow客户端库(apache-airflow-client)。 当你安装这个包时,它会自动安装。
环境变量
设置以下环境变量:
AIRFLOW_HOST=<your-airflow-host> # Optional, defaults to http://localhost:8080
AIRFLOW_API_VERSION=v1 # Optional, defaults to v1
READ_ONLY=true # Optional, enables read-only mode (true/false, defaults to false)
认证
选择以下认证方法之一:
基本身份验证(默认):
AIRFLOW_USERNAME=<your-airflow-username>
AIRFLOW_PASSWORD=<your-airflow-password>
JWT令牌认证:
AIRFLOW_JWT_TOKEN=<your-jwt-token>
要获取JWT令牌,您可以使用Airflow的认证端点:
ENDPOINT_URL="http://localhost:8080" # Replace with your Airflow endpoint
curl -X 'POST' \
"${ENDPOINT_URL}/auth/token" \
-H 'Content-Type: application/json' \
-d '{ "username": "<your-username>", "password": "<your-password>" }'
注如果同时提供了JWT令牌和基本身份验证凭据,则以JWT令牌为准。
与Claude桌面版的使用
添加到您的 claude_desktop_config.json:
基本认证:
{
"mcpServers": {
"mcp-server-apache-airflow": {
"command": "uvx",
"args": ["mcp-server-apache-airflow"],
"env": {
"AIRFLOW_HOST": "https://your-airflow-host",
"AIRFLOW_USERNAME": "your-username",
"AIRFLOW_PASSWORD": "your-password"
}
}
}
}
JWT令牌认证:
{
"mcpServers": {
"mcp-server-apache-airflow": {
"command": "uvx",
"args": ["mcp-server-apache-airflow"],
"env": {
"AIRFLOW_HOST": "https://your-airflow-host",
"AIRFLOW_JWT_TOKEN": "your-jwt-token"
}
}
}
}
对于只读模式(为安全起见,建议使用):
基本身份验证:
{
"mcpServers": {
"mcp-server-apache-airflow": {
"command": "uvx",
"args": ["mcp-server-apache-airflow"],
"env": {
"AIRFLOW_HOST": "https://your-airflow-host",
"AIRFLOW_USERNAME": "your-username",
"AIRFLOW_PASSWORD": "your-password",
"READ_ONLY": "true"
}
}
}
}
JWT令牌认证:
{
"mcpServers": {
"mcp-server-apache-airflow": {
"command": "uvx",
"args": ["mcp-server-apache-airflow", "--read-only"],
"env": {
"AIRFLOW_HOST": "https://your-airflow-host",
"AIRFLOW_JWT_TOKEN": "your-jwt-token"
}
}
}
}
使用替代配置 uv:
基本认证:
{
"mcpServers": {
"mcp-server-apache-airflow": {
"command": "uv",
"args": [
"--directory",
"/path/to/mcp-server-apache-airflow",
"run",
"mcp-server-apache-airflow"
],
"env": {
"AIRFLOW_HOST": "https://your-airflow-host",
"AIRFLOW_USERNAME": "your-username",
"AIRFLOW_PASSWORD": "your-password"
}
}
}
}
JWT Token 认证:
{
"mcpServers": {
"mcp-server-apache-airflow": {
"command": "uv",
"args": [
"--directory",
"/path/to/mcp-server-apache-airflow",
"run",
"mcp-server-apache-airflow"
],
"env": {
"AIRFLOW_HOST": "https://your-airflow-host",
"AIRFLOW_JWT_TOKEN": "your-jwt-token"
}
}
}
}
替换 /path/to/mcp-server-apache-airflow 以及你克隆仓库的实际路径。
选择API组
您可以通过设置来选择您想要使用的API组 --apis 旗帜。
uv run mcp-server-apache-airflow --apis dag --apis dagrun
默认使用所有API。
允许的值为:
- 配置
- 连接
- 白天
- “dagrun”可以翻译为“日常运行”或“日常任务”,具体含义取决于上下文。如果是指计算机或系统领域的术语,可能指的是系统的日常运行流程或任务安排。在更广泛的语境中,它也可以理解为日常的、常规的活动或工作
- “dagstats”可以翻译为“每日统计”。不过,这个词汇并不是一个标准的中文表达,它可能是根据英文原词直译过来的。在中文中,我们更常用“每日统计数据”或“日统计”来描述类似的概念。
- 数据集
- 事件日志
- 导入错误
- 监测
- 插件
- 泳池
- 提供者
- 任务实例
- 变量
- XCOM(通常指《XCOM》系列游戏,一款经典的策略类游戏)
只读模式
你可以通过使用以下方法以只读模式运行服务器: --read-only 通过设置标志或通过设置 READ_ONLY=true 环境变量。这将仅暴露执行读取操作(GET 请求)的工具,并排除任何创建、更新或删除资源的工具。
使用命令行标志:
uv run mcp-server-apache-airflow --read-only
使用环境变量:
READ_ONLY=true uv run mcp-server-apache-airflow
在只读模式下,服务器将仅提供以下工具:
- 列出有向无环图(DAGs)、DAG运行、任务、变量、连接等。
- 获取特定资源的详细信息
- 读取配置并监控信息
- 测试连接(非破坏性)
在只读模式下,无法执行创建、更新、删除DAG(有向无环图)、变量、连接,以及触发DAG运行等写入操作。
您可以将只读模式与API组选择结合使用:
uv run mcp-server-apache-airflow --read-only --apis dag --apis variable
手动执行
你也可以手动运行服务器:
make run
make run 接受以下选项:
选项:
--port用于SSE监听的端口(默认:8000)--transport传输类型(stdio/sse/http,默认:stdio)
或者,您可以直接运行 SSE 服务器,它接受相同的参数:
make run-sse
此外,您可以直接使用以下方式启动服务 uv 如下命令所示:
uv run src --transport http --port 8080
通过Smithery进行安装
通过自动方式为Claude Desktop安装Apache Airflow MCP服务器 Smithery(注:此词在标准英语中并不常见,可能是特定语境或行业内的术语,直译为“史密斯工坊”或“史密斯制造”可能不完全准确,具体含义需根据上下文确定。若作为专有名词或品牌名,可保持原样或根据品牌官方译名翻译。):
npx -y @smithery/cli install @yangkyeongmo/mcp-server-apache-airflow --client claude
发展
设置开发环境
- 克隆仓库:
git clone https://github.com/yangkyeongmo/mcp-server-apache-airflow.git
cd mcp-server-apache-airflow
- 安装开发依赖项:
uv sync --dev
- 创建一个
.env环境变量文件(开发时可选):
touch .env
注运行测试不需要设置任何环境变量
AIRFLOW_HOST默认为http://localhost:8080用于开发和测试目的。
运行测试
该项目使用 pytest 进行测试,可用命令如下:
# Run all tests
make test
代码质量
# Run linting
make lint
# Run code formatting
make format
持续集成
该项目包含一个GitHub Actions工作流(.github/workflows/test.yml)自动地:
- 在 Python 3.10、3.11 和 3.12 上运行测试
- 使用 ruff 执行代码规范检查
- 在每次推送和拉取请求时运行
main分支
CI(持续集成)流水线确保在任何更改合并之前,代码质量和兼容性都能在所有支持的Python版本上得到保证。
做出贡献
欢迎贡献!请随时提交拉取请求。
当项目版本(project.version)更新时,该包会自动部署到PyPI pyproject.toml。
遵循语义化版本控制(SemVer)进行版本管理。
请在拉取请求(PR)中包含版本更新,以便将更改应用于核心逻辑。
