AI提示词评估工具

CC-Meta是一款终端内AI提示词评估工具,通过即时反馈帮助开发者优化Claude和OpenAI模型的提示词质量,提升清晰度、完整性和有效性。

  • by areznik23
  • JavaScript
  • 本地部署
  • 5 星标
  • 更新于
在 GitHub 查看 areznik23/cc-meta

使用说明

CC Meta(克劳德代码元提示器)

CC Meta允许您在不离开终端的情况下迭代Claude Code提示。您无需切换到web客户端来测试和改进提示,而是可以在当前工作流程中获得关于清晰度、特异性和完整性的即时AI反馈。这使您保持在上下文中,并加快了制定有效提示的过程。

一个MCP(模型上下文协议)服务器,使用人工智能评估提示,提供关于清晰度、完整性和有效性的详细反馈。

前后:询问“构建计算器应用程序”

Without CC-Meta With CC-Meta

特性

  • 多型号支持 -使用任何OpenAI或Anthropic模型
  • 灵活的API键 -为每次评估提供您自己的API密钥
  • 两种可用工具:
    • ping -测试服务器是否已连接并正常工作
    • evaluate -对您的提示进行人工智能分析

设置

  1. 安装依赖项:

    npm install
    # or
    yarn install
    
  2. 构建项目:

    npm run build
    
  3. 配置您的模型和API密钥: 编辑 .mcp.json 文件以设置首选模型和API密钥:

    {
      "mcpServers": {
        "prompt-evaluator": {
          "command": "node",
          "args": ["./prompt-evaluator-mcp/start.js"],
          "env": {
            "PROMPT_EVAL_MODEL": "sonnet-4",  // or "o3", "opus-4"
            "PROMPT_EVAL_API_KEY": "your-api-key-here"
          }
        }
      }
    }
    

用法

配置后,您有多种方法来评估提示:

快速击杀命令(推荐)

/meta Your prompt here without quotes

直接MCP功能调用

mcp_prompt-evaluator_ping()  # Test connection
mcp_prompt-evaluator_evaluate("Your prompt to evaluate")

支持的型号

  • OpenAI: o3 (o3-225-04-16)
  • Anthropic: opus-4 (claude-opus-4-20250514), sonnet-4 (claude-sonnet-4-20250514)

人工智能评估提供:

  • 0-10分
  • 你的提示的具体优势
  • 需要改进的地方
  • 必要时建议重写
  • 分析:
    • 意图清晰
    • 要求的特殊性
    • 提供的上下文
    • 可操作性
    • 考虑边缘案例

定制

评估提示存储在 src/prompt.ts 并且可以很容易地定制:

  • 编辑提示模板以更改评估标准
  • 修改评分标准和权重
  • 调整输出格式
  • 添加特定于域的评估规则

更改后,使用重建 npm run build.