本地LLM模型MCP服务器

提供本地LLM模型的MCP服务器配置示例,支持多种通信方式如Stdio、HTTP等,便于开发者快速搭建和测试。

  • by eschmidt42
  • Python
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 eschmidt42/pydantic-ai-mcp-experiment

使用说明

PydanticAI MCP实验

为本地llm模型提供自己的MCP服务器的极简主义示例。

在...之下 examples/ 使用以下方式提供MCP客户端和服务器的不同配置 pydantic_ai 以及当地模特/ollama,让你亲自动手修补。

设置

这个项目是 紫外线 管理。所以设置run

uv sync

例子

通过以下方式运行MCP服务器(本地)有4个不同的示例:

  • 标准-> examples/0_subprocess
  • 超文本传输协议
    • mcp.run -> examples/1_http_mcp_run
    • FastAPI -> examples/2_http_fastapi
    • 斯塔利特-> examples/3_http_starlette

每个文件夹都包含一个 client.py 和 server.py 文件。

服务器应在运行之前启动 client.py 文件。

这些脚本的设置是,当您切换到相应的示例文件夹时,只需使用以下命令即可运行每个脚本

python server.py

和

python client.py

日志记录

自从 pydantic_ai 这里使用的是伐木的自然选择 logfire因此,在运行时 client.py 您将被要求使用logfire进行身份验证的文件。您可以将后端更改为类似 otel-tui,但我试图找到我想看到的提示和响应消息,但失败了。

参考文献

  • 附睾+胶原:https://ai.pydantic.dev/models/openai/#example-当地使用
  • pydantic ai+mcp+“stdio”服务器:https://ai.pydantic.dev/mcp/client/#mcp-stdio服务器
  • logfire设置:https://logfire.pydantic.dev/docs/#logfire-需要创建帐户
  • logfire与otel tui后端:https://ai.pydantic.dev/logfire/#logfire-使用替代的otel后端->不显示提示和响应(尽管它们存在于文档中的屏幕截图中)