LLM追踪插件

Claude代码的记分卡插件

在几秒钟内将LLM跟踪添加到您的AI应用程序中。这 Claude代码插件 自动检测您的LLM SDK并使用 记分卡 --因此，您可以从以下位置监视、评估和调试您的AI应用程序 app.scorecard.io.

它还捆绑了 记分卡MCP服务器，让Claude Code直接访问您的记分卡工作区——项目、测试集、指标、运行等——而无需离开编辑器。

快速开始

claude --plugin-dir /path/to/scorecard-claude-plugin/scorecard-plugin

然后，从您的项目目录中：

/scorecard:instrument

该插件将检测您的LLM设置，修改您的代码，并配置环境变量。就这样

它的作用

这个 /scorecard:instrument skill扫描您的项目，识别您正在使用的LLM SDK，并自动应用正确的工具。它处理：

• 将记分卡代理配置或OTEL导出器添加到代码中
• 创建或更新您的 .env 带有所需变量
• 确保 .env 在...里 .gitignore
• 仪器仪表 全部 客户端初始化（不仅仅是第一次）
• 与现有自定义标头和配置合并

支持的集成

方法按优先级顺序应用——首先是内置OTEL，其次是手动OTEL，最后是代理/包装器。

记分卡MCP服务器

安装插件还会连接 记分卡MCP服务器，它允许Claude Code直接读取和管理您的记分卡工作区——用简单的语言询问您想要什么，Claude会代表您调用这些工具。

可用工具包括：

• 项目 --列出并创建
• 测试集和测试用例 --创建、读取、更新、删除
• 指标 --创建、读取、更新、删除评估指标
• 跑步记录 --列表运行、列表/创建记录、追加销售分数
• 系统 --管理系统配置和版本
• 文档 --搜索记分卡文档

例如： “根据这些示例在我的项目中创建测试集” 或 “列出我最近的5次跑步，并显示他们的分数。”

加载插件后，Claude Code会自动连接到服务器。跑 /mcp 检查连接并完成它提示的任何身份验证。

先决条件

1. A. 记分卡 账户
2. 来自的API密钥 app.scorecard.io/设置
3. Claude 代码 已安装CLI

运作原理

记分卡摄取OpenTetry跟踪。该插件应用了适合您堆栈的最高优先级方法：

1. 通过env变量内置OTEL（首选） --对于Claude Agent SDK（以及其他内置OTEL的框架），跟踪仅通过环境变量启用，无需更改代码。痕迹转到 https://tracing.scorecard.io/otel.
2. OTEL仪器（后备） --对于任何其他应用程序，该插件都会向记分卡发出OpenTetry跟踪。现有的OTEL和LangChain应用程序使用其标准导出器；其他所有东西都被仪器化，以在 与Claude Agent SDK发出的形状相同，因此它们在Scorecard中呈现相同的效果——以您的应用程序自己的服务名称命名。
3. 代理/SDK包装器（优先级较低） --更简单，但不那么忠实。将客户端的基本URL重定向到 https://llm.scorecard.io （代理）或将Vercel AI SDK封装为 scorecard-ai。仅在您喜欢最小代码选项时使用。

所有方法都支持流式响应。

演奏乐器后

1. 设置您的 SCORECARD_API_KEY 在 .env （开始于 ak_)
2. 运行您的应用程序并发出一些LLM请求
3. 检查 app.scorecard.io --痕迹会在1-2分钟内出现在“记录”选项卡中

文档

• 记分卡文档
• Claude代码插件