本地LLM服务器

一个支持通过Ollama或llama.cpp运行本地大型语言模型的服务,适合需要离线或定制化AI模型的开发场景。

  • by tszbgae
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 tszbgae/ax_mcp

使用说明

Ax的MCP服务器

从Ollama的本地法学硕士开始:

python bridge.py

从本地LLM和python llama.cpp开始(运行GGUF文件模型):

python directserver.py

需求

要使用ollama运行,requirements.txt就可以了。

要为llama.cpp添加GPU支持,请执行以下操作:

在命令行上:

export CMAKE_ARGS="-DGGML_CUDA=on"
export FORCE_CMAKE=1
pip install --upgrade --force-reinstall --no-cache-dir llama-cpp-python