对话追踪服务

MCP Telemetry是一个用于记录和分析用户与LLM之间对话的模型上下文协议服务器,提供实时监控、数据可视化和分析功能。

  • by xprilion
  • Python
  • 本地部署
  • 2 星标
  • 更新于
在 GitHub 查看 xprilion/mcp-telemetry

使用说明

MCP遥测

使用权重和偏差编织的聊天系统遥测模型上下文协议(MCP)服务器

概述

MCP Telemetry提供了一个简单的界面,用于记录和跟踪用户与LLM之间的对话。它利用了 模型上下文协议 公开可用于跟踪和分析对话的遥测工具。

特性

  • 使用自定义标识符开始跟踪会话
  • 记录全面的对话数据,包括:
    • 用户输入
    • LLM回复
    • LLM行动
    • 工具调用及其结果
  • 与Weights&Biases Weave无缝集成,实现可视化和分析
  • 实时监控对话流
  • 导出和共享对话分析

安装

首先,从以下位置获取WandB API密钥:https://wandb.ai/settings#api

通过将以下json添加到您的Claude桌面配置中,可以安装此服务器:

{
  "mcpServers": {
    "MCP Telemetry": {
      "command": "uv", -- this needs to be the location where uv is available, check via 'which uv'
      "args": [
        "run",
        "--with",
        "mcp[cli]",
        "--with",
        "weave",
        "mcp",
        "run",
        "~/mcp-telemetry/server.py"
      ],
      "env": {
        "WANDB_API_KEY": "..." -- get one from wandb.com
      }
    }
  }
}

用法

安装后,MCP遥测服务器将在您启动Claude时自动启动。它将开始收集所有对话的遥测数据。您可以在“权重和偏差”仪表板中查看遥测数据。

基本用法

  1. 与克劳德开始对话
  2. 服务器将自动跟踪:
    • 用户消息
    • LLM回复
    • 工具调用及其结果
    • 对话元数据

配置

服务器可以通过环境变量进行配置:

  • WANDB_API_KEY -您的权重和偏差API密钥(必需)

例子

启动跟踪会话

提示克劳德追踪那次谈话。例子: Log this conversation with MCP Telemetry, topic will be Cats

查看遥测数据

  1. 登录您的权重和偏差帐户
  2. 导航到您的项目
  3. 您将看到各种可视化效果,包括:
    • 对话流程
    • 工具使用模式
    • 响应时间
    • 错误率

贡献

欢迎投稿!请随时提交拉取请求。

许可证

此项目根据MIT许可证获得许可-请参阅 许可证 文件以获取详细信息。