文本补全服务器

OpenAI Complete MCP Server 是一个基于 MCP 协议的文本补全服务器,为大型语言模型提供文本生成功能,适用于基础模型的应用场景。

  • by aiamblichus
  • JavaScript
  • 本地部署
  • 更新于
在 GitHub 查看 aiamblichus/mcp-openai-complete

使用说明

OpenAI完整MCP服务器

MCP(模型上下文协议)服务器,为LLM提供干净的接口,以便通过MCP协议使用文本完成功能。该服务器充当LLM客户端和任何OpenAI兼容的API之间的桥梁。主要用例是 基础模型,因为服务器不支持聊天完成。

特性

  • 提供一个名为“complete”的工具来生成文本补全
  • 正确处理异步处理以避免阻塞
  • 通过优雅的回退实现超时处理
  • 支持取消正在进行的请求

安装

# Clone the repository
git clone <repository-url>
cd mcp-openai-complete

# Install dependencies
pnpm install

# Build the project
pnpm run build

配置

需要以下环境变量:

OPENAI_API_KEY=your-hyperbolic-api-key
OPENAI_API_BASE=https://api.hyperbolic.xyz/v1
OPENAI_MODEL=meta-llama/Meta-Llama-3.1-405B

用法

启动服务器:

pnpm start

这将启动stdio上的服务器,使MCP客户端可以与之通信。

Docker使用

构建Docker镜像

docker build -t mcp-openai-complete .

运行容器

# Run with environment variables
docker run -it --rm \
  -e OPENAI_API_KEY="your-api-key" \
  -e OPENAI_MODEL="gpt-3.5-turbo-instruct" \
  mcp-openai-complete

您还可以使用.env文件:

# Run with .env file
docker run -it --rm \
  --env-file .env \
  mcp-openai-complete

“完整”工具的参数

  • prompt (string,必填):文本提示完成
  • max_tokens (整数,可选):要生成的最大令牌数,默认值:150
  • temperature (数字,可选):控制随机性(0-1),默认值:0.7
  • top_p (数字,可选):通过细胞核采样控制多样性,默认值:1.0
  • frequency_penalty (数字,可选):减少令牌序列的重复,默认值:0.0
  • presence_penalty (数字,可选):增加谈论新话题的可能性,默认值:0.0

发展

对于自动重新加载的开发:

npm run dev

许可证

麻省理工学院