多模型客户端服务

Simple MCP是一个支持HuggingFace本地模型和API模型(如OpenAI和Anthropic)的客户端和服务器实现,用于智能问答和模型路由。

  • by archon159
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 archon159/simpleMCP

使用说明

简单MCP

简单的MCP客户端和服务器实现,支持HuggingFace本地模型和基于API的模型(OpenAI、Anthropic)。

用法

  1. 创建“secrets.env”并添加任何必需的API密钥。
touch ./secrets.env

示例 secrets.env:

BRAVE_API_KEY=...
OPENAI_API_KEY=...
ANTHROPIC_API_KEY=...
  1. 运行MCP服务器。这将运行“MCP_servers”目录中定义的所有MCP服务器。
python3 run_mcp_servers.py
  1. 运行MCP客户端。
# HuggingFace local model (default)
python3 mcp_client.py -m "Where does the computer scientist Seungeon Lee work?"

# OpenAI API
python3 mcp_client.py --model gpt-4o -m "Where does the computer scientist Seungeon Lee work?"

# Anthropic API
python3 mcp_client.py --model claude-3-5-sonnet-20241022 -m "Where does the computer scientist Seungeon Lee work?"

模型路由

根据型号名称自动选择后端:

型号名称前缀 后端
gpt-, o1-, o3-, o4-, chatgpt- OpenAI API
claude- 无烟煤API
其他什么 拥抱面对当地人

参数

参数 默认值 描述
--model Llama-3.1-8B-Instruct 型号名称或API型号ID
--device cuda:0 设备(仅限HuggingFace)
--dtype auto 型号数据类型(仅限HuggingFace)
--temperature 0.0 取样温度
--seed 0 随机种子
--system_message "" 附加系统消息
-m, --user_message -- 用户查询

需求

python==3.10.19

mcp==1.26.0

numpy==1.26.4

火炬==2.2.2

变压器==4.57.1

openai>=1.0.0

人择性>=0.20.0