AI模型路由系统

一个全栈AI系统,基于指令分析和负载均衡智能路由请求到不同的AI模型。

  • by Jeevapriya14
  • JavaScript
  • 本地部署
  • 更新于
在 GitHub 查看 Jeevapriya14/Adaptive-MCP-AI-System

使用说明

自适应MCP-AI系统

一个全栈AI系统,基于指令分析和负载平衡,智能地将请求路由到不同的AI模型。

特性

  • 多模型人工智能路由(Gemini)
  • WebSocket流媒体支持
  • 使用MongoDB进行会话上下文管理
  • 实时仪表板和分析
  • 通过.env实现API密钥管理的安全
  • 使用TailwindCSS的React+Vite前端

项目结构

adaptive-mcp-ai-system/
├── backend/                 # FastAPI backend
│   ├── app/
│   │   ├── main.py         # Main API entry point
│   │   ├── core/           # Core routing & integration logic
│   │   ├── models/         # AI model integrations
│   │   └── db/             # Database layer
│   ├── .env.example        # Environment variables template
│   └── requirements.txt    # Python dependencies
├── frontend/               # React frontend
│   ├── src/
│   │   ├── pages/         # Page components
│   │   └── components/    # Reusable components
│   └── package.json       # Node dependencies
└── README.md

安装说明

后端设置

  1. 导航到后端目录:
cd backend
  1. 创建虚拟环境:
python -m venv venv
source venv/bin/activate  
  1. 安装依赖项:
pip install -r requirements.txt
  1. 配置环境:
cp .env.example .env
  1. 编辑 .env 并添加您的Gemini API密钥:
GEMINI_API_KEY=your_actual_api_key_here
MONGODB_URI=mongodb://localhost:27017
  1. 运行后端:

cd backend
npm start

后端将运行http://localhost:8000

前端设置

  1. 导航到前端目录:
cd frontend
  1. 安装依赖项:
npm install
  1. 启动开发服务器:
npm run dev

前端将继续运行http://localhost:3000

API 文档

后端运行后,请访问:

  • Swagger用户界面:http://localhost:8000/docs
  • 重新记录:http://localhost:8000/redoc

关键终点

  • POST /mcp/request -发送MCP风格的AI请求
  • WS /ws/{session_id} -WebSocket流媒体端点
  • GET /session/{session_id} -获取会话上下文
  • GET /logs -获取路由日志
  • GET /health -健康检查

使用示例

REST API请求

const response = await fetch('http://localhost:8000/mcp/request', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    instruction: 'Analyze the sentiment of this review',
    payload: { text: 'This product is amazing!' },
    context: {}
  })
});

WebSocket流媒体

const ws = new WebSocket('ws://localhost:8000/ws/session_123');
ws.onmessage = (event) => {
  const data = JSON.parse(event.data);
  console.log(data);
};
ws.send(JSON.stringify({
  instruction: 'Explain quantum computing',
  payload: {}
}));

模型路由逻辑

  • 关键词“图像”、“分类”、“照片” → TensorFlow(MobileNetV2)
  • 关键词“情感”、“文本”、“评论” → PyTorch(情感分析)
  • 所有其他请求 → API双子星

负载平衡确保没有单个模型过载。

使用的技术

后端:

  • 快速API
  • 电机(异步MongoDB)
  • 谷歌生成人工智能(Gemini)
  • NodeJS 的
  • WebSockets

前端:

  • 反应18
  • 维特
  • 尾风CSS
  • React路由器

许可证

MIT许可证

获取API密钥

  • API双子星: https://makersuite.google.com/app/apikey
  • MongoDB:使用本地实例或MongoDB Atlas(免费层)

支持

对于问题或疑问,请在存储库上打开问题。