使用说明
MCP（模型上下文协议）서버
MCP服务器是一项集成管理多种大型语言模型（LLM）并提供标准接口的服务。该项目集成了DeepSeek和Llama模型，提供了一个易于在模型之间切换和上下文管理的API。
主要功能
- 多种LLM模型（DeepSeek，Llama）集成管理
- 在模型之间轻松切换和路由
- 管理对话上下文
- 标准化API接口
- 支持多种存储后端（内存、Redis、SQLite）
系统要求
- Python 3.8或更高版本
- 支持CUDA的GPU（建议在CPU上运行）
- Docker&Docker Compose（可选）
安装和运行
手动安装
-
存储库克隆：
git clone https://github.com/yourusername/mcp-server.git cd mcp-server -
运行设置脚本：
python setup.py（包括型号下载）：
python setup.py --download-models（仅下载特定型号）：
python setup.py --download-models --model deepseek -
服务器运行：
source venv/bin/activate # Windows: venv\Scripts\activate uvicorn app.main:app --reload
使用Docker安装
-
存储库克隆：
git clone https://github.com/yourusername/mcp-server.git cd mcp-server -
以Docker Compose运行：
docker-compose up -d
API使用
채팅 API
请求：
POST /api/chat
Content-Type: application/json
{
"session_id": "550e8400-e29b-41d4-a716-446655440000",
"messages": [
{
"role": "user",
"content": "안녕하세요, 오늘 날씨가 어때요?"
}
],
"model": "default",
"parameters": {
"temperature": 0.7,
"max_new_tokens": 512
}
}
回复：
{
"session_id": "550e8400-e29b-41d4-a716-446655440000",
"response": "안녕하세요! 오늘 날씨는 맑고 화창하네요. 온도는 약 22도 정도로 쾌적한 편입니다. 야외 활동하기 좋은 날씨입니다.",
"model": "deepseek"
}
可用模型列表
请求：
GET /api/models
回复：
{
"models": [
{
"id": "deepseek",
"name": "DeepSeek Model",
"description": "DeepSeek 기반 대형 언어 모델",
"capabilities": ["text-generation", "code-generation", "reasoning"],
"languages": ["en", "ko"]
},
{
"id": "llama",
"name": "Llama Model",
"description": "Llama 기반 대형 언어 모델 (한국어 특화)",
"capabilities": ["text-generation", "translation", "korean-language"],
"languages": ["ko", "en"]
}
]
}
删除会话
请求：
DELETE /api/sessions/550e8400-e29b-41d4-a716-446655440000
回复：
{
"status": "success",
"message": "세션 550e8400-e29b-41d4-a716-446655440000가 삭제되었습니다"
}
添加模型
要添加新模型，请：
app/models在目录中创建新的模型类文件。BaseModel继承并实现类。app/models/router.py在中注册模型。app/core/config.py更新路由设置。
贡献方法
- 分叉存储库。
- 创建功能分支（
git checkout -b feature/amazing-feature). - 提交更改（
git commit -m 'Add some amazing feature'). - 推送到分支（
git push origin feature/amazing-feature). - 创建Pull Request。
