LLM编排服务器

用于LLM编排的MCP服务器

一种用Erlang构建的模型上下文协议（MCP）服务器，使用OTP原理编排对不同LLM（ChatGPT、Gemini、Claude等）的请求。

特性

• 基于OTP的架构，实现稳健、容错的操作
• 支持多个LLM提供商（OpenAI、Google Gemini、Anthropic Claude）
• 动态模型注册和管理
• 用于聊天完成和模型列表的RESTful API
• 模型之间的自动故障转移和负载平衡

建筑

该应用程序遵循OTP设计原则，包含以下组件：

• mcp_app：主应用模块
• mcp_sup：最高级别主管
• mcp_model_sup：LLM连接的动态监控器
• mcp_orchestrator：路由请求的中央编排器
• mcp_model：每种LLM类型的GenServer实现
• 用于外部通信的HTTP API处理程序

设置

先决条件

• Erlang/OTP 24或更高版本
• 钢筋3

建筑

cd mcp_server
rebar3 compile

跑步

rebar3 shell

API终点

• POST /api/v1/chat：向LLM发送聊天请求
• GET /api/v1/models：列出所有可用型号

配置

LLM API密钥和其他配置应通过环境变量或配置文件提供。

许可证

麻省理工学院