AI导哈

LLM评估服务

Atla MCP Server是一个提供标准化接口的服务，用于通过Atla API对LLM响应进行多维度评估，适用于模型性能测试和反馈分析。

  • by atla-ai
  • Python
  • 本地部署
  • 16 星标
  • 更新于
在 GitHub 查看 atla-ai/atla-mcp-server

使用说明

Atla MCP服务器

[！小心] 此存储库于2025年7月21日存档。Atla API不再处于活动状态。

MCP服务器实现为LLM提供了一个标准化接口，以便与Atla API交互，以进行最先进的LLMJ评估。

了解更多关于Atla的信息 这里。了解有关模型上下文协议的更多信息 这里.

可用工具

  • evaluate_llm_response：使用给定的评估标准评估LLM对提示的反应。此函数在后台使用Atla评估模型返回一个字典，其中包含模型反应的分数和一个文本评论，其中包含对模型反应的反馈。
  • evaluate_llm_response_on_multiple_criteria：评估法学硕士对跨学科提示的反应 多个 评估标准。此函数在后台使用Atla评估模型返回字典列表，每个字典都包含对给定标准的评估分数和评论。

用法

要使用MCP服务器，您需要一个Atla API密钥。您可以找到现有的API密钥 这里 或创建一个新的 这里.

安装

我们建议使用 uv 管理Python环境。看 这里 有关安装说明。

手动运行服务器

一旦你有 uv 安装并拥有您的Atla API密钥，您可以使用 uvx （由 uv):

ATLA_API_KEY=<your-api-key> uvx atla-mcp-server

连接到服务器

遇到问题或需要帮助连接到另一个客户？请随意打开问题或 联系我们!

OpenAI代理SDK

有关在MCP服务器上使用OpenAI代理SDK的更多详细信息，请参阅 官方文件.

  1. 安装OpenAI代理SDK：
pip install openai-agents
  1. 使用OpenAI代理SDK连接到服务器：
import os

from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uvx",
            "args": ["atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

克劳德桌面

有关在Claude Desktop中配置MCP服务器的更多详细信息，请参阅 MCP官方快速入门指南.

  1. 将以下内容添加到您的 claude_desktop_config.json 文件：
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}
  1. 重新启动克劳德桌面 以应用更改。

现在，您应该看到以下选项 atla-mcp-server 在可用MCP工具列表中。

光标

有关在Cursor中配置MCP服务器的更多详细信息，请参阅 官方文件.

  1. 将以下内容添加到您的 .cursor/mcp.json 文件：
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

你现在应该看到了 atla-mcp-server 在可用MCP服务器列表中。

贡献

欢迎投稿！请查看 贡献.md 文件以获取详细信息。

许可证

该项目根据MIT许可证获得许可。请参阅 许可证 文件以获取详细信息。

相关 MCP