代理运行时服务

一个通过单一API端点暴露代理功能的服务,内部调用多个工具(HTTP API或MCP)并根据用户输入执行确定性计划,支持调试和审计追踪。

  • by BigBirdReturns
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 BigBirdReturns/agent-runtime

使用说明

代理运行时(无LangChain)

目的

  • 公开一个代理API终结点。
  • 根据用户输入在内部调用2到3个工具(HTTP API或MCP)。
  • 默认情况下,保持工具API和执行对用户不可见。

关键特性

  • 使用规则规划器进行确定性规划(可审计)。
  • 启用调试时,计划被序列化到跟踪中以进行回放/审核。
  • 并行工具调用确定性地收集跟踪(没有共享的可变跟踪竞争)。
  • 严格的工具输入验证(Pydantic)和有界执行(超时、重试、调用预算)。
  • 可选的调试模式仅返回用于内部检查的最小跟踪。
  • 工具模式通过/v1/tools/schemas进行集成/审计。

跑 pip安装-e。 uvicorn agent_runtime.main:应用程序--reload

叫 curl-X POSThttp://localhost:8000/v1/agent/run
-H“内容类型:应用程序/json”
-d'{“input”:“12*13等于多少,然后加5?”}'

回应 {“output”:“12*13加5等于多少?=161”}

调试调用(仅限内部) curl-X POSThttp://localhost:8000/v1/agent/run
-H“内容类型:应用程序/json”
-d'{“输入”:“西雅图和12*13的天气”,“调试”:true}'

当地Ollama数学规划师(明确选择加入) curl-X POSThttp://localhost:8000/v1/agent/run
-H“内容类型:应用程序/json”
-d'{“输入”:“12*13+5”,“计划器”:“ollama_math”,“调试”:true}'

此模式向精确的本地模型发出一个环回请求 qwen3.5:9b-q4_K_M,只允许一个注册 math 呼叫,不执行 重试或回退,并在中报告Ollama观察到的输入/输出令牌计数器 调试提供程序跟踪。缺少的计数器仍然为空。

模式 卷曲http://localhost:8000/v1/tools/schemas