LLM推理组件生成库

mcpllm推理机

引言

这 mcp_llm_inferencer 是一个开源库，旨在利用大型语言模型（LLM）的强大功能，如Claude和OpenAI的GPT，将提示映射输入转换为MCP服务器的具体组件。这些组件包括工具、资源模板和提示处理程序，使其成为使用MCP服务器环境的开发人员的通用工具。

特性

• LLM呼叫引擎：通过内置的重试和回退逻辑高效地调用LLM，以确保可靠的响应。
• 可互换的Claude和OpenAI支持：根据您的偏好或可用性在Claude和OpenAI API之间无缝切换。
• Claude Desktop的流媒体支持：直接从Claude Desktop流式传输响应，提供实时反馈。
• 工具和资源响应验证：确保生成的工具和资源在部署前符合预定义的标准。
• 结构化输出捆绑：将输出组织成每个组件的结构化包，简化了集成和使用。

安装说明

先决条件

• Python 3.6或更高版本
• 来自Claude或OpenAI的API密钥

安装 mcp_llm_inferencer

1. 克隆存储库：

   复制

   git clone https://github.com/your-repo/mcp_llm_inferencer.git
   cd mcp_llm_inferencer
   

2. 使用pip安装软件包：

   复制

   pip install .
   

3. 将API键设置为环境变量：

   • 对于克劳德：
     复制

     export CLAUDE_API_KEY='your-claude-api-key'
     

   • 对于OpenAI：
     复制

     export OPENAI_API_KEY='your-openai-api-key'
     

使用示例

基础示例

下面是一个简单的示例，演示如何使用 mcp_llm_inferencer 使用OpenAI API：

from mcp_llm_inferencer import MCPInferencer

# Initialize the inferencer with OpenAI API
inferencer = MCPInferencer(api_type='openai')

# Define your prompt
prompt = "Generate a tool to extract emails from text."

# Generate components
components = inferencer.generate_components(prompt)

print(components)

Claude的高级示例

此示例显示如何将库与Claude API一起使用并处理流式响应：

from mcp_llm_inferencer import MCPInferencer

# Initialize the inferencer with Claude API
inferencer = MCPInferencer(api_type='claude', stream=True)

# Define your prompt
prompt = "Create a resource template for an S3 bucket."

# Generate components with streaming support
for component in inferencer.generate_components(prompt):
    print(component)

API文档

类别： MCPInferencer

初始化

MCPInferencer(api_type, api_key=None, stream=False)

• api_type （str）：要使用的LLM API的类型（'crude'或'openai'）。
• api_key （str，可选）：指定LLM的API密钥。如果没有提供，它将尝试从环境变量中读取。
• 流 （bool，可选）：为Claude Desktop启用流媒体支持。

方法

• generate_components（提示）
  • 根据给定的提示生成MCP服务器组件。
  • 提示 （str）：要发送给LLM的输入提示。
  • 返回：包含生成组件的字典或字典流。

方法使用示例

components = inferencer.generate_components("Generate a tool for sentiment analysis.")

许可证

mcp_llm_inferencer 根据MIT许可证发布。请参阅 许可证 文件以获取更多详细信息。

请随时为 mcp_llm_inferencer 通过在我们的 GitHub存储库.

⚠️ 开发状态

这个图书馆目前处于早期开发阶段。某些测试可能因以下问题而失败：

欢迎为解决这些问题做出贡献！如果您有解决方案，请提交拉取请求。