AI导哈

LLM量化工具

一个自包含的Python MCP服务器，用于将任何HuggingFace模型压缩为GGUF、GPTQ或AWQ格式，无需外部CLI。

  • by ShipItAndPray
  • Python
  • 本地部署
  • 5 星标
  • 更新于
在 GitHub 查看 ShipItAndPray/mcp-turboquant

使用说明

mcp涡轮量子发动机

用于LLM量化的独立Python MCP服务器。将任何HuggingFace模型压缩为 GGUF, GPTQ，或 AWQ 在单个工具调用中格式化。

无需外部CLI——所有量化逻辑都已嵌入。

安装

pip install mcp-turboquant

或者直接用uvx运行：

uvx mcp-turboquant

可选后端

这 info, check，以及 recommend 工具开箱即用。对于实际的量化，请安装所需的后端：

# GGUF (Ollama, llama.cpp, LM Studio)
pip install mcp-turboquant[gguf]

# GPTQ (vLLM, TGI)
pip install mcp-turboquant[gptq]

# AWQ (vLLM, TGI)
pip install mcp-turboquant[awq]

# Everything
pip install mcp-turboquant[all]

配置

克劳德代码

添加 ~/.claude/settings.json:

{
  "mcpServers": {
    "turboquant": {
      "command": "mcp-turboquant"
    }
  }
}

或者使用uvx（无需安装）：

{
  "mcpServers": {
    "turboquant": {
      "command": "uvx",
      "args": ["mcp-turboquant"]
    }
  }
}

克劳德桌面

添加 claude_desktop_config.json:

{
  "mcpServers": {
    "turboquant": {
      "command": "uvx",
      "args": ["mcp-turboquant"]
    }
  }
}

工具

工具 描述 重型deps？
info 从HuggingFace获取型号信息（参数、尺寸、架构） 否
check 检查系统上可用的量化后端 否
recommend 硬件感知的最佳格式+比特建议 否
quantize 将模型量化为GGUF/GPTQ/AWQ 是
evaluate 对量化模型进行困惑度评估 是
push 将量化模型推送到HuggingFace Hub 否

例子

配置后，询问Claude：

“获取关于元骆驼/美洲驼-3.1-8B-指令的信息”

“我的机器上的Mistral-7B应该使用什么量化格式？”

“量化Meta-Calma/Calma-3.1-8b到4位GGUF”

“检查我安装了哪些量化后端”

“在/path/to/model.gguf上评估我的量化模型的困惑程度”

“在HuggingFace上将我的量化模型推送到我的用户/模型GGUF”

运作原理

Claude / Agent  <-->  MCP Protocol (stdio)  <-->  mcp-turboquant (Python)  <-->  llama-cpp-python / auto-gptq / autoawq

所有量化逻辑都在进程中运行。不需要外部CLI工具。

直接运行

# As a command
mcp-turboquant

# As a module
python -m mcp_turboquant

许可证

麻省理工学院

相关 MCP