边缘ML推理服务器

一个基于Google Coral TPU的边缘机器学习推理服务器,用于图像分类、视觉嵌入、文本嵌入、重要性评分、异常检测和人脸检测。

  • by marc-shade
  • Python
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 marc-shade/coral-tpu-mcp

使用说明

Coral TPU MCP服务器

Google Coral TPU集成用于边缘ML推理。

部分 代理系统 -具有持久内存的24/7自主AI框架。

使用Google Coral Edge TPU对代理系统进行快速本地ML推理。

特性

  • 图像分类:1000个带有MobileNet/EfficientNet的ImageNet类
  • 视觉嵌入:生成图像相似性的嵌入
  • 文本嵌入:基于CPU的小型模型文本嵌入
  • 重要性评分:对内存重要性进行评分以确定优先级
  • 异常检测:检测数据模式中的异常
  • 人脸检测:检测图像中的人脸

MCP工具

工具 说明
classify_image 使用MobileNet V2对图像进行分类
get_visual_embedding 为图像生成视觉嵌入
get_text_embedding 生成文本嵌入(CPU)
score_importance 分数记忆重要性(0-1)
detect_anomaly 检测数据中的异常
detect_faces 检测图像中的人脸

模型

  • mobilenet_v2 -图像分类(224x224输入)
  • efficientnet_s -视觉嵌入和分类
  • face_detection -人脸检测模型

需求

  • Python 3.10+
  • 谷歌珊瑚边缘TPU USB加速器
  • pycoral和tflite运行时
  • mcp SDK

安装

pip install -e .

用法

python -m coral_tpu_mcp.server

硬件

需要Google Coral Edge TPU(USB或PCIe)以加速推理。回退到CPU进行文本嵌入。

整合

为以下对象提供快速的本地推理:

  • 记忆重要性评分
  • 视觉事件编码
  • 基于图像的上下文理解

许可证

麻省理工学院

MCP生态系统的一部分

该服务器与其他MCP服务器集成,以实现全面的AGI功能:

服务器 用途
增强记忆mcp 语义搜索的四层持久记忆
代理运行时mcp 持久任务队列和目标分解
agi mcp 使用21个工具进行完整的AGI编排
集群执行mcp 跨节点的分布式任务路由
节点聊天mcp 节点间AI通信
恩伯·麦克普 仅生产政策执行

看 代理系统oss 对于完整的框架。