AI导哈

日志风险分析工具

MCP-RiskCue是一个用于从MCP服务器系统日志中推断风险信息的工具，支持本地和远程模型评估，并提供训练和测试数据集。

  • by PorUna-byte
  • Python
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 PorUna-byte/MCP-RiskCue

使用说明

MCP风险提示

项目概述

MCP RiskCue随附论文“MCP RiskCue:LLM可以从MCP服务器系统日志中推断风险信息吗？”(https://arxiv.org/pdf/2511.05867).存储库打包了复制我们的基准测试和实验所需的一切。

关键部件：

  • Environment/：精心策划的系统日志池。
  • Client/：用于查询服务器和收集响应的MCP客户端。
  • Evaluator/：用于定量评估的评分脚本。
  • Figures/：用于可视化指标的绘图工具。
  • Data/：训练和测试拆分(train.jsonl, test.jsonl)加上生成脚本。
  • Servers/：用于模拟的最小MCP服务器。
  • Prompts/：整个流程中使用的提示模板。

设置

  • 使用Python 3.9或更高版本。
  • 创建并激活虚拟环境。
  • 安装依赖项，例如 pandas, numpy，以及 matplotlib 根据各个模块的要求。
  • 填充 .env 文件中包含必要的API密钥和机密。

评估模型

内部 Model_output_rx/，要么运行 python pipeline_local.py 对于本地托管的模型或 python pipeline_remote.py 对于远程端点。有关可选标志，请参阅脚本文档字符串。

培训指导

我们建议将强化学习框架应用于 Data/ 并重用提供的脚本进行日志记录和评估。在我们的项目中，我们使用了slime框架：https://github.com/PorUna-byte/slime

基准施工（已完成）

此存储库中的基准工件是预先构建的。如果需要重新生成它们：

  1. 自 Servers/，跑 collate.py 组装服务器描述。
  2. 自 Data/，跑 query_generator.py 创建每台服务器的查询。
  3. 自 Data/，跑 history_generator.py 综合对话历史。
  4. 自 Data/，跑 curate_train_test.py 将历史划分为训练/测试集。
  5. 自 Data/，跑 data_format.py 以最终确定数据集布局。

相关 MCP