多模态输入处理服务器

一个支持文本、图像、音频和视频输入的多模态处理服务器,具备文本提取、图像标注、音频转文本和背景噪声分类等功能。

  • by sirohikartik
  • Python
  • 本地部署
  • 4 星标
  • 更新于
在 GitHub 查看 007jbks/mmcp

使用说明

mmcp(注:这是一个缩写,具体含义需根据上下文确定,但直接翻译即为“mmcp”)

一个用于多模态输入的MCP服务器

这是一个多模态MCP服务器的原型阶段演示,目前该服务器支持三种模态的输入

  1. 文本
  2. 图像
  3. 音频
  4. 带音频支持的视频模式

第一个很简单,但我们来详细讨论接下来的三个:

1. 图像模态

在这里我们正在做两件事

  1. 如果存在图像,则从图像中读取文本
  2. 使用开源模型为图像添加标题

2. 音频模态

同样地,我们在这里也在做

  1. 如果有的话,将音频转换为文本
  2. 使用开源模型对背景噪声进行特征描述或分类

3. 视频模态

在这里,图像被每十分之一秒分割成一帧一帧的画面,每一帧画面都被传递给一个视频字幕生成模型,并且每个字幕都会与帧号一起被添加到上下文中,以便保持时间信息。