AI模型选择服务

LOG-mcp是一个基于用户偏好学习的AI模型选择服务,通过学习用户的选择历史来优化未来提示的路由,支持多模型配置和数据隐私保护。

  • by Lucineer
  • Python
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 CedarBeach2019/LOG-mcp

使用说明

LOG mcp

停止猜测使用哪种AI模型。每次您在草稿响应之间进行选择时,此MCP服务器都会构建您的偏好数据集。它从你的实际选择中学习,而不是从一般的基准中学习。

实时网址: https://log-mcp.casey-digennaro.workers.dev 许可证: MIT• 运行时间: Cloudflare员工 依赖关系: 0

为什么存在

公共模型排名往往不能反映你的具体需求。此服务器直接从您在工作时所做的选择中学习您的偏好,帮助它将未来的提示路由到您可能选择的模型。

快速开始

首先分叉此存储库以创建自己的实例。

  1. 分叉 这个仓库。
  2. 部署 使用fork中的一键按钮将Cloudflare Workers添加到您的fork中。
  3. 添加您的模型API密钥 在Worker的环境变量中。

对于当地发展:

git clone https://github.com/your-username/log-mcp
cd log-mcp
cp .env.example .env
# Add your API keys to the .env file
npm run dev

运作原理

当您提交提示时,LOG mcp会从每个配置的模型生成草稿响应。你选择最好的一个。每个选项都会训练你的私人偏好档案。随着时间的推移,它开始将提示直接路由到您选择的模型。所有选择数据都保留在您的Worker中。

特性

  • 偏好学习: 路线提示基于您过去的选择。
  • PII剥离: 默认情况下,在发送到模型API之前删除可识别信息(姓名、电子邮件、电话号码)。
  • 语义缓存: 跳过语义相似、先前已回答的提示的重新生成。
  • 培训数据导出: 以标准LoRA/DPO格式导出您的偏好对。
  • 多模型支持: 为OpenAI、Anthropic、Google和开放权重模型配置端点。
  • MCP合规性: 适用于支持模型上下文协议的任何客户端。
  • 零依赖性: 一个可快速部署的独立脚本。

局限性

该系统需要明确的选择数据来学习。如果您很少在草稿之间进行选择,则无法构建有效的路由配置文件,并将继续显示所有模型输出。

建筑

LOG mcp在Cloudflare Workers上无状态运行。所有偏好数据都存储在Cloudflare KV命名空间中。没有要管理的外部数据库或后台进程。

The Fleet · Cocapn