本地LLM MCP服务器

本地LLM MCP服务器

一个可配置的模型上下文协议（MCP）服务器，通过OpenAI兼容的API连接到本地LLM服务器。

特性

• 可配置的工具前缀 运行多个服务器实例
• 基于JSON的配置 便于定制
• 个性档案 定义AI行为
• 本地LLM支持 （LM Studio、Ollama、Calma.cpp等）
• 隐私第一 -所有处理都在本地进行

工具

• start_LLM_server -连接到本地LLM服务器
• query_LLM -向LLM发送提示
• set_instructions -更新AI个性说明
• reload_personality -从文件中重新加载个性
• stop_LLM_server -断开与LLM服务器的连接

安装

git clone <repository-url>
cd local-llm-mcp-template
npm install
npm run build

配置

创建一个 config.json 配置服务器的文件：

{
  "server_name": "assistant",
  "tool_prefix": "assistant",
  "personality_file": "instructions.md",
  "default_endpoint": "http://localhost:1234",
  "default_model": "google-gemini-2.5-pro"
}

配置选项

• server_name：MCP客户端中显示的名称
• tool_prefix：所有工具名称的前缀（例如。， assistant-query_LLM)
• personality_file：包含AI指令的文件路径
• default_endpoint：默认LLM服务器URL
• default_model：要使用的默认模型名称

配置优先

1. MCP_CONFIG_FILE 环境变量（文件路径）
2. MCP_CONFIG 环境变量（配置名称、负载 config.{name}.json)
3. config.json （默认文件）
4. config.default.json （回退）

配置示例

助手 (config.assistant.json):

{
  "server_name": "AI Assistant",
  "tool_prefix": "assistant",
  "personality_file": "instructions.md"
}

分析师 (config.analyst.json):

{
  "server_name": "Business Analyst",
  "tool_prefix": "analyst",
  "personality_file": "personalities/analyst.md"
}

MCP客户端设置

克劳德桌面

添加到您的 claude_desktop_config.json:

{
  "mcpServers": {
    "assistant": {
      "command": "node",
      "args": ["/path/to/local-llm-mcp-template/build/index.js"],
      "env": {
        "MCP_CONFIG": "assistant"
      }
    }
  }
}

用法

1. 启动本地LLM服务器 （LM工作室、Ollama等）
2. 连接：使用 start_LLM_server 工具
3. 查询：使用 query_LLM 提问工具
4. 定制：使用 set_instructions 改变人工智能行为

故障排除

• 无法连接到LLM：确保您的本地LLM服务器正在配置的终结点上运行
• 未找到工具：检查你的 tool_prefix 匹配您的MCP客户端配置
• 连接错误：验证配置中的端点URL和模型名称

发展

npm run build    # Build for production
npm run dev      # Watch mode for development

许可证

MIT许可证