AI导哈

本地LLM部署服务

一个基于Docker、Ollama和自定义MCP服务器的本地LLM部署解决方案，提供REST API集成。

  • by amnayasargoraya
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 amnayasargoraya/local-llm-mcp-integration

使用说明

本地llm-mcp集成

本地LLM部署使用Docker、Ollama和自定义MCP服务器，并集成基于REST的API。

堆栈

  • Python 3.11
  • 快速API
  • Uvicorn
  • Docker&Docker编写
  • 奥利玛（米斯特拉尔）
  • REST API
  • OpenAPI/Swagger

建筑

FastAPI MCP服务器→ 奥拉玛→ 西北风模型→ JSON响应

MCP服务器公开了结构化的工具端点，这些端点通过Ollama与本地部署的LLM进行内部通信。

项目结构

.
├── mcp_server.py
├── requirements.txt
├── Dockerfile
├── docker-compose.yml
├── index.html
├── images/
└── README.md

端点

  • GET /health –健康检查
  • GET /tools –列出可用工具
  • POST /call-tool –执行工具
  • GET /test/{tool_name} –工具测试终点
  • GET /docs –Swagger用户界面

运行项目

docker compose up --build

启动后：

FastAPI：
http://localhost:8000

Swagger用户界面：
http://localhost:8000/docs

API Ollama：
http://localhost:11434

服务器正在运行

Swagger API

健康检查

Docker容器

通过Curl进行LLM测试

Web测试客户端

这个项目展示了什么

  • 本地LLM部署
  • 集装箱化人工智能基础设施
  • 基于REST的MCP服务器实现
  • FastAPI后端集成
  • 基于工具的架构设计
  • 通过OpenAPI公开结构化API
  • 健康监控和容器编排

作者

大学项目-本地法学硕士基础设施和MCP集成

相关 MCP