使用说明

日历代理评估框架

测试评估工具 基于MCP的人工智能代理 使用合成用户场景、对话日志和Phoenix跟踪。

该框架用于对工具调用代理运行可重复的多回合对话，并检查它在现实和对抗条件下的行为。

此存储库侧重于 代理人评估，而不是代理功能。

它提供：

它不提供：

对话由CSV定义的场景和基于LLM的合成用户驱动。
每次运行都会执行，直到完成、失败或达到最大转弯限制。

每次运行的输出包括：

这些人工制品用于检查和调试，而不是评分。

在评估运行期间观察到以下行为：

通过检查重复运行的记录和Phoenix痕迹，发现了这些问题。

代理实现有意地次于评估逻辑。

该框架使用 谷歌日历MCP代理 作为其测试对象。

代理存储库包含：

这个存储库假设有这种背景，只关注评估行为。

克隆此存储库
设置所需的环境变量：
- OpenAI API密钥
- Phoenix配置（如果启用了跟踪）
在中定义评估场景 scenarios.csv.
针对特定场景运行评估循环。
例如，要运行名为 off_scope_wifi:
```
$env:SCENARIO_NAME="off_scope_wifi"; python mcp_calendar_agent.py
```
检查输出：
- 对话登录 conversation_logs/
- Phoenix UI中的痕迹

未提供用户界面；通过日志和跟踪进行评估。

用于代理行为迭代测试和调试的探索性评估框架。