使用说明
npu代理
一个完全在笔记本电脑上运行的本地、基于终端的人工智能代理 AMD XDNA2-NPU (通过 柠檬水服务器 +FastFlowLM)——就像 本地GitHub Copilot用于系统管理和编码。没有云,没有API密钥。
- 发动机: NPU上的柠檬水服务器,与OpenAI兼容的API位于
http://localhost:13305/api/v1 - 默认型号:
qwen3.5-4b-FLM(快速);能力更强的层qwen3.5-9b-FLM - 能力: 运行shell命令,连接/扫描WiFi,管理systemd/Sway/Waybar, 检查Kubernetes集群,读/写文件——对任何 改变状态。
快速开始
# 1. Make sure the NPU server is running
./llm-server start # start | stop | restart | status | logs
# 2. Talk to it
./agent -i # interactive agent (tools enabled)
./agent "list my wifi networks" # one-shot task
./ask "how do I tar a folder?" # quick Q&A, no tools
安装shell别名(可选):
./install-aliases.sh && source ~/.bashrc
| 别名 | 什么 |
|---|---|
ai |
交互式代理(qwen3.5-4b,默认) |
ai-big |
交互式代理(qwen3.5-9b,更有能力) |
agent "..." |
一次性代理任务 |
ask "..." |
快速提问(无工具) |
chat |
交互式聊天 |
codehelp |
编码助手 |
llmfix |
cat error.log | llmfix |
llm-server |
控制NPU服务器 |
llmodels |
列出/拉取/删除NPU型号 |
模型选择
每次调用或全局覆盖模型:
./agent -m qwen3.5-4b-FLM -i
export LOCAL_LLM_MODEL=qwen3.5-4b-FLM
列出/管理型号(柠檬水+FLM包装):
./models list # NPU/FLM catalog
./models installed # already downloaded
./models pull qwen3.5-4b-FLM
./models remove <name>
布局
| 路径 | 目的 |
|---|---|
agent |
主包装→ mcp-server/agent.py |
mcp-server/agent.py |
agent:OpenAI原生工具调用循环+工具 |
mcp-server/llm_complete.py |
单次完成助手(由以下人员使用 ask/quick-fix) |
ask, chat, code-helper, quick-fix |
薄聊天包装 |
llm-server |
启动/停止Lemonade NPU服务器 |
models |
通过Lemonade/FLM进行模型管理 |
get-system-context.sh |
将系统上下文注入到提示中 |
bash_aliases.sh / install-aliases.sh |
shell别名 |
工具
看 TOOLS.md 和 MCP-AGENT-README.md.
状态更改操作(文件写入、WiFi连接、systemd重启/启用、危险
shell命令)需要确认。使用 -y 自动批准(小心)。
需求
- AMD Ryzen AI(XDNA2 NPU)
amdxdna驱动程序+XRT用户空间+FLM v0.9.45 - Lemonade嵌入式服务器(in
../local-llm/lemonade/) - Python 3
requests