AI导哈

本地Phi-3 Mini运行工具

通过Python接口本地运行量化Phi-3-mini-4k模型的工具，基于llama.cpp实现。

  • by musman047
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 usmaan-dev/Floating-AI-Widget-Local-MCP

使用说明

本地Phi-3 Mini（通过llama.cpp）

这个项目展示了如何运行一个量化（的模型或过程） Phi-3-mini-4k 在本地使用（进行建模） llama.cpp 来自一个简单的Python接口。

🏗️ 运行说明

  1. 确保您的模型和llama.cpp二进制文件路径已正确设置在 utils/config.py.
  2. 运行：
    python main.py

相关 MCP