本地LLM模型管理工具

一个基于Docker的本地LLM模型管理工具,支持模型下载、运行和实验,提供Web界面和命令行工具。

  • by flexnst
  • Makefile
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 flexnst/ollama-mcp-example

使用说明

Olama MCP示例

基于项目:

  • https://ollama.com/
  • https://github.com/open-webui/open-webui
  • https://github.com/flexnst/ollama-mcp-bridge
  • https://github.com/sparfenyuk/mcp-proxy
  • https://github.com/modelcontextprotocol/servers/blob/main/src/fetch/README.md

设置

  1. 克隆并启动docker编写环境:
git clone https://github.com/flexnst/ollama-mcp-example.git
cd ollama-mcp-example
make init
  1. 等待docker镜像被拉取和构建
  2. 转到打开WebUI界面:http://localhost:3000
  3. 选择并下载您的LLM模型(请参阅https://ollama.com/search?c=tools)
make ollama-cli
ollama pull qwen2.5:7b # for example
  1. 祝你的人工智能实验好运!

可用命令:

  • make init -启动新的docker编写环境
  • make up -向上环境
  • make down -停止环境
  • make ollama-cli -Docker ollama环境

开箱即用的工具:

获取

此工具使LLM能够从网页中检索和处理内容,将HTML转换为markdown以便于使用。

如何添加我的工具?

compose.yml

  mcp-proxy:
    container_name: mcp-proxy
    image: mcp-proxy:latest
    build:
      context: mcp-proxy
      dockerfile: Dockerfile
    command: |
      --pass-environment --host=0.0.0.0 --port=8096 --allow-origin=*
      --transport=sse
      -- uvx mcp-server-fetch --ignore-robots-txt --user-agent='${FETCH_USER_AGENT}'

您可以使用添加工具 uvx,有关更多信息,请参阅: https://github.com/sparfenyuk/mcp-proxy#22-示例用法

我在哪里可以看到可用的工具(mcp服务器)?

https://github.com/modelcontextprotocol/servers

许可证

MIT。