使用说明
具有MCP风格工具编排的企业LLM代理系统
此存储库演示了面向企业的LLM Agent系统 旨在通过以下方式解耦推理、检索和模型推理 MCP风格的工具编排和服务边界。
系统概述
建筑
关键设计原则：
- Agent仅负责推理和工具选择
- 工具是无状态的、可独立部署的服务
- 矢量状态被外部化，以实现一致的启动和可扩展性
核心组件
代理服务器
- 基于查询意图执行启发式路由
- 选择合适的工具（RAG或微调的LoRA-v3）
- 不依赖于工具内部
- 为下游客户端公开单个统一的API（UI/API）
MCP风格的工具服务器
- RAG工具服务器（基于FAISS的检索）
- SFT工具服务器（微调LoRA-v3推理）
- 每个工具都可以独立部署和更换
- 通过结构化请求/响应合同与代理进行沟通
路由策略
Agent使用基于规则的启发式路由来确定：
- 是否检索外部知识
- 是否使用微调的内部模型
- 当多条路线适用时，系统默认为RAG， 将事实一致性和安全性置于专业化之上。
路由规则可以通过YAML进行配置。
部署
本地验证
- Docker Compose用于多服务验证
类似生产的设置
- Kubernetes部署
- 向量索引和嵌入的持久卷
- InitContainers确保工具初始化的一致性
- 旨在反映生产限制和运营模式
为什么这个设计
该架构解决了常见的企业LLM挑战：
- 逻辑和模型之间的紧密耦合
- 难以扩展异构工具
- 缺乏明确的服务边界
通过引入代理层和MCP风格的工具服务器，该系统改进了：
- 模块化
- 可观测性
- 可维护性
备注
- 故意排除模型重量和专有数据
- 该存储库侧重于系统架构和工程设计
- 使用Streamlit/简单前端实现的可选UI演示
