对齐验证工具

一个使用Gemini或OpenAI兼容API验证AI响应计划与用户意图一致性的工具,确保在代码编写前检测潜在问题。

  • by Daxiongmao87
  • JavaScript
  • 本地部署
  • 更新于
在 GitHub 查看 Daxiongmao87/second-opinion-mcp

使用说明

对齐验证MCP

提供对齐验证工具的模型上下文协议(MCP)服务器。它使用谷歌的Gemini Flash模型或OpenAI兼容的API来验证AI响应计划是否符合用户的初衷,确保在编写代码之前对齐并检测潜在问题。

特性

  • 对齐验证:客观评估人工智能提出的计划是否与用户的提示相匹配。
  • 情境感知:使用本地向量存储(RAG)来记住过去的交互和评估。
  • 行为分析:生成人工智能的私人行为评估(存储在本地)和公共的建设性验证响应(返回给代理)。
  • 全球指令:可以合并一个全局指令文件,以确保验证尊重代理的核心指令。

配置

此MCP服务器需要Google Gemini API密钥或与OpenAI兼容的API。

环境变量

  • API_TYPE:(可选)要使用的API提供程序: gemini 或 openai (默认:根据可用密钥自动检测)。
  • GEMINI_API_KEY:您的Google Gemini API密钥(如果使用Gemini,则需要)。
  • GEMINI_MODEL:(可选)要使用的模型(默认值: gemini-1.5-flash).
  • OPENAI_API_KEY:您的OpenAI API密钥(如果使用OpenAI,则需要)。
  • OPENAI_BASE_URL:(可选)OpenAI兼容的API基本URL(默认值: https://api.openai.com/v1).
  • OPENAI_MODEL:(可选)要使用的模型(默认值: gpt-4o).
  • GLOBAL_INSTRUCTIONS_DIR:(可选)包含全局指令文件的目录(例如。, /home/user/.gemini).
  • INSTRUCTIONS_FILENAME:(可选)指令文件的名称(默认值: GEMINI.md).

MCP配置示例

{
  "mcpServers": {
    "alignment-validation": {
      "command": "node",
      "args": [
        "/path/to/alignment-validation-mcp/index.js"
      ],
      "env": {
        "GEMINI_API_KEY": "YOUR_KEY_HERE",
        "GLOBAL_INSTRUCTIONS_DIR": "/home/user/.gemini",
        "INSTRUCTIONS_FILENAME": "GEMINI.md"
      }
    }
  }
}

用法

工具 validate-alignment 需要四个必需的参数:

  1. user_prompt:用户的原始请求。
  2. ai_response_plan:AI提出的计划。
  3. context:对当前情况或导致这一点的原因的描述(用于模式识别)。
  4. project_directory:当前项目目录的绝对路径。

说明文件加载

服务器将尝试从两个位置加载指令:

  1. 全球指令: {GLOBAL_INSTRUCTIONS_DIR}/{INSTRUCTIONS_FILENAME} (例如。, /home/user/.gemini/GEMINI.md)
  2. 项目具体说明: {project_directory}/{INSTRUCTIONS_FILENAME} (例如。, /home/user/projects/my-app/GEMINI.md)

这两个文件都是可选的。如果两者都存在,它们将被组合并提供给验证模型,首先是全局指令,然后是特定于项目的指令。

力学

  1. 输入:该工具接收提示、计划和上下文。
  2. 检索:它搜索本地 vector_store.json 用于识别类似的过去背景下的行为模式。
  3. 分析:配置的AI模型根据用户提示、全局指令和过去的历史记录分析计划。
  4. 输出:
    • 公众反应:验证评估返回给呼叫代理。
    • 私人评估:存储在本地向量存储中的行为分析,用于通知未来的验证。