使用说明
MCP服务器
该项目建立了一个双模模型上下文协议(MCP)服务器,支持以下两种协议:
🧩 通过FastMCP进行基于工具的响应(例如当前时间、笑话) 💬 通过FastAPI快速响应LLM完成
📁 项目结构
| 文件 | 目的 |
|---|---|
server.py |
处理LLM加载、生成、配置 |
🚀 特性
⚙️ 兼容克劳德桌面、MCP检查器、LangGraph等。 🔌 用于工具注册和stdin通信的FastMCP标准 🧠 使用/generate API从app.py运行本地LLM完成 🌐 可选的HTTP服务器模式,用于更广泛的集成 🧪 MCP工具返回结构化JSON响应
🛠 安装 pip安装fastapi uvicorn变压器火炬 pip安装请求 pip安装bitsandbytes加速#仅在使用量化模型时需要
🛠 注册MCP工具 工具名称它做什么 time_now返回当前UTC时间戳 dad_joke从API返回一个随机的爸爸笑话
💡 什么是MCP? 模型上下文协议(MCP)允许将自定义工具和本地模型集成到Claude Desktop或LangGraph等AI助手中。您可以将Python函数注册为工具,并在相关时由助手调用。
