AI导哈

文本补全服务器

一个通过LiteLLM代理连接特定LLM模型进行文本补全的MCP服务器，适用于需要高效、可配置文本生成的应用场景。

  • by dinhdobathi1992
  • Shell
  • 本地部署
  • 更新于
在 GitHub 查看 dinhdobathi1992/mcp-server-litellm

使用说明

LiteLLM MCP服务器

一个MCP服务器，它集成了LiteLLM，通过LiteLLM代理使用特定的LLM模型处理文本补全。

特性

  • 通过LiteLLM代理连接到特定的LLM模型
  • 支持的型号：
    • gpt-4o （OpenAI）
    • anthropic.claude-3-7-sonnet-20250219-v1:0 （人类学）
  • 可配置的温度和最大令牌
  • 模型验证和错误处理
  • 与MCP兼容客户端轻松集成

安装

安装软件包：

pip install mcp-server-litellm

或者以开发模式安装：

pip install -e .

配置

  1. 复制示例环境文件：
cp env.example .env
  1. 编辑 .env 使用LiteLLM代理设置：
# LiteLLM Proxy URL
LITELLM_PROXY_URL=https://litellm.shared-services.adb.adi.tech

# API Key for the LiteLLM proxy
LITELLM_API_KEY=sk-jhBs4H8kSBGagA7e179rkw

用法

运行MCP服务器

# Activate virtual environment (if using one)
source venv/bin/activate

# Run the MCP server
mcp-server-litellm

可用工具

服务器提供两个主要工具：

  1. complete -向支持的LLM模型发送完成请求

    • model：型号名称（仅限 gpt-4o 或 anthropic.claude-3-7-sonnet-20250219-v1:0)
    • messages：对话消息数组
    • temperature：控制随机性（0.0-2.0，默认值：0.7）
    • max_tokens：要生成的最大令牌数（默认值：1000）

  2. list_models -列出支持的型号

示例用法

# Example completion request
{
    "model": "gpt-4o",
    "messages": [
        {"role": "user", "content": "Hello! How are you?"}
    ],
    "temperature": 0.7,
    "max_tokens": 150
}

性能优化

MCP服务器包括几个性能优化，以提高响应速度：

HTTP客户端优化

  • 连接池：重用HTTP连接以实现更快的后续请求
  • HTTP/2支持：默认情况下启用，以获得更好的性能
  • 可配置超时：可调节的连接和请求超时
  • 保持连接畅通：保持持久连接

性能配置

您可以通过环境变量调整性能设置：

# HTTP Client Settings
HTTP_TIMEOUT=30.0                    # Request timeout in seconds
HTTP_CONNECT_TIMEOUT=10.0            # Connection timeout in seconds
HTTP_MAX_KEEPALIVE_CONNECTIONS=20    # Max keep-alive connections
HTTP_MAX_CONNECTIONS=100             # Max total connections
HTTP_ENABLE_HTTP2=true               # Enable HTTP/2

# Performance Monitoring
LOG_PERFORMANCE_METRICS=true         # Enable performance logging
LOG_SLOW_QUERIES_THRESHOLD=5.0       # Log requests slower than 5 seconds

流媒体支持

启用流媒体以实现更快的感知响应时间：

{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true  # Enable streaming
}

性能测试

运行性能测试套件以对您的设置进行基准测试：

python test_performance.py

这将测试不同模型和查询类型的响应时间，提供详细的性能指标和优化建议。

测试

快速测试

python example_usage.py

综合测试套件

python test_completion.py

性能测试

python test_performance.py

交互式测试

python interactive_test.py

支持的型号

出于安全和性能原因，此MCP服务器配置为仅支持两种特定型号：

  • gpt-4o -OpenAI最新GPT-4模型
  • anthropic.claude-3-7-sonnet-20250219-v1:0 -Anthropic的克劳德3.7十四行诗模型

任何其他模型请求都将被拒绝，并显示明确的错误消息。

需求

  • Python 3.10+
  • LiteLLM代理在配置的URL上运行
  • MCP兼容客户端

许可证

MIT许可证

相关 MCP