音频视频转录服务

基于Gradio MCP服务器的音频视频转录服务,支持从URL下载并转录多媒体内容为文本。

  • by bsmnyk
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 bsmnyk/gradio-transcript-mcp

使用说明


标题:gradio转录mcp-gradio mcp转录服务器 表情符号💬 颜色来源:绿色 颜色To:绿色 sdk:毕业 sdk版本:5.29.0 app_file:app.py 固定:false 许可证:apache-2.0 short_description:Gradio MCP服务器,用于从URL转录音频和视频

gradio transcript mcp:一个用于从URL进行音频/视频转录的gradio mcp服务器

概述

gradio-transcript-mcp 是配置为用作MCP(模型控制协议)服务器的Gradio应用程序。它旨在将URL中的音频和视频转录为文本。实现OpenAI的Whisper和 ffmpeg (通过 yt-dlp),此服务器使MCP客户端(如Cline)能够通过从给定URL下载和转换内容来高效地处理多媒体输入。它支持强大的处理,包括格式转换为WAV和动态设备选择(CPU或GPU)。

存储库包含以下主要组件:

  • app.py:运行MCP服务器的主Gradio应用程序文件。
  • transcription_tool.py:处理文件转换和调用转录函数的核心逻辑。
  • transcription.py:包含使用Whisper转录的实现 transformers 图书馆。
  • requirements.txt:列出必要的Python依赖项。
  • ffmpeg_setup.py:确保ffmpeg可用的脚本。
  • logging_config.py:日志记录配置。

安装

  1. 克隆此存储库:
    git clone https://huggingface.co/spaces/bismay/gradio-transcript-mcp
    cd gradio-transcript-mcp
    
  2. 安装依赖项:
    pip install -r requirements.txt
    
    这将安装必要的库,包括 gradio[mcp], yt-dlp, transformers,以及 torch.

用法

运行Gradio应用程序/MCP服务器

要运行Gradio应用程序并启动MCP服务器,请执行:

python app.py

这将启动本地Gradio web界面并启动MCP服务器。服务器将公开 transcribe_url 作为MCP工具。

用作MCP服务器

当你奔跑时 python app.py,应用程序启动MCP客户端可访问的MCP服务器。

外露工具:

服务器公开了一个工具: transcribe_url.

  • 说明: 从给定的URL转录音频或视频。从URL下载媒体,将其转换为WAV格式,然后使用TranscriptTool用英语进行转录。
  • 输入:
    • url (string):音频或视频文件的URL。
  • 输出: (string):英文音频/视频的转录,如果下载或转录失败,则显示错误消息。

连接MCP客户端:

MCP服务器通常可在以下位置访问 http://127.0.0.1:7860/gradio_api/mcp/sse 在本地运行时。Gradio应用程序启动时,您可以在控制台中找到打印的确切URL。

要将MCP客户端(如Cline)连接到此服务器,您需要在客户端的设置中添加一个配置条目。确切的格式取决于您的客户端,但通常需要为服务器及其URL指定一个名称。

支持SSE的客户端(如Cline)的示例配置:

{
  "mcpServers": {
    "gradio-transcript": {
      "url": "http://127.0.0.1:7860/gradio_api/mcp/sse"
    }
  }
}

注意:如果您的MCP客户端不直接支持基于SSE的服务器(如Claude Desktop),您可能需要使用以下工具 mcp-remote 作为中介。

在这些情况下,您可以使用mcp-remote等工具。首先安装Node.js。然后,将以下内容添加到您自己的MCP客户端配置中:

{
  "mcpServers": {
    "gradio": {
      "command": "npx",
      "args": [
        "mcp-remote",
        "http://127.0.0.1:7860/gradio_api/mcp/sse"
      ]
    }
  }
}

在Hugging Face Spaces上连接到托管服务器

该应用程序也托管在Hugging Face Spaces上,提供可公开访问的MCP服务器。您可以使用以下URL连接到此托管服务器:

https://bismay-gradio-transcript-mcp.hf.space/gradio_api/mcp/sse

要将MCP客户端(如Cline)连接到此托管服务器,请添加类似于以下内容的配置条目:

{
  "mcpServers": {
    "gradio-transcript": {
      "url": "https://bismay-gradio-transcript-mcp.hf.space/gradio_api/mcp/sse"
    }
  }
}

许可证

此项目根据Apache-2.0许可证获得许可。有关更多详细信息,请参阅LICENSE文件。


贡献

欢迎投稿!请打开一个问题或提交任何改进或错误修复的拉取请求。