VRAM感知MCP服务器

一个VRAM感知的MCP服务器,将令牌密集型开发任务卸载到本地Ollama模型,为复杂推理节省API令牌。

  • by DTG404
  • JavaScript
  • 本地部署
  • 更新于
在 GitHub 查看 digitalghost404/ollama-mcp

使用说明

Ollama-MCP

VRAM软件MCP服务器,将大量代币开发任务卸载到本地Ollama模型,为复杂推理节省API代币。

工具

工具 说明
draft_code 生成样板和脚手架
draft_commit_message 从差异中写入提交消息
draft_content 文件草稿和散文
classify_task 自动将工作路由到正确的代理类型
summarize_file 总结不熟悉的源文件
triage_issues 对问题进行分类并确定优先级
list_models 列出可用的Olama型号
check_updates 检查型号更新
get_config 显示当前配置

显存管理

服务器通过以下方式监控GPU内存 nvidia-smi 并根据可用VRAM选择模型。模型按需加载。

设置

npm install

需要 奥拉玛 在本地运行,并拉取模型。

用法

npm start

在Claude Code MCP设置中配置:

{
  "mcpServers": {
    "ollama": {
      "command": "node",
      "args": ["/path/to/ollama-mcp/index.js"]
    }
  }
}

技术栈

  • Node.js(>=18)
  • @modelcontextprotocol/sdk
  • Zod用于模式验证
  • 用于局部模型推理的Ollama API
  • nvidia-smi 用于VRAM监控