音频AI处理服务

Gaudio Lab提供的音频AI处理服务,支持通过自然语言指令分离音频中的语音、乐器、对话、音乐和效果,或同步歌词时间戳,适用于AI工具集成。

  • by gaudiolab-mcp
  • TypeScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 gaudiolab-jp/gaudio-developers-mcp

使用说明

@gaudiolab/mcp开发人员

MCP服务器 Gaudio实验室 音频AI API。通过人工智能工具中的自然语言,将人声、乐器、对话、音乐、任何音频/视频的效果分开,或将歌词与时间戳同步。

适用于Claude、ChatGPT、Cursor、VS Code、GitHub Copilot和任何兼容MCP的客户端。

获取API密钥

  1. 注册地址: Gaudio开发商
  2. 创建一个项目并从仪表板获取API密钥

快速开始

添加到MCP客户端配置中:

{
  "mcpServers": {
    "gaudio": {
      "command": "npx",
      "args": ["-y", "@gaudiolab/mcp-developers"],
      "env": {
        "GAUDIO_API_KEY": "your-api-key-here"
      }
    }
  }
}

然后用自然语言问:

  • “将人声与此文件分开”
  • “从该视频中提取对话”
  • “将这些歌词同步到此歌曲”
  • “有哪些型号可供选择?”
  • “我还剩多少学分?”

工具

工具 说明
gaudio_get_key_info 获取API关键信息:信用,项目,允许的模型
gaudio_list_models 按类别列出可用的AI模型
gaudio_upload_file 上传音频/视频/文本文件(多部分,自动分块)
gaudio_create_job 创建处理作业
gaudio_get_job 检查作业状态并获取下载URL
gaudio_separate_audio 一体式:上传→ 过程→ 下载URL
gaudio_sync_lyrics 多功能歌词与时间戳同步

模型

阀杆分离

型号 描述 类型选项
gsep_music_hq_v1 多乐器分离 声乐、鼓、贝司、电吉他、声学钢琴
gsep_music_shq_v1 超级HQ声乐+伴奏 声乐
gsep_speech_hq_v1 语音/噪声去除 语音

最大值:每个文件1GB/20分钟。类型可以组合(例如。 vocal,drum).

DME分离(对话、音乐、效果)

型号 描述
gsep_dme_dtrack_v1 对话提取
gsep_dme_d2track_v1 对话+人声
gsep_dme_metrack_v1 音乐+效果
gsep_dme_me2track_v1 音乐+效果v1
gsep_dme_me2track_v2 音乐+效果v2(高质量)
gsep_dme_mtrack_v1 仅限音乐
gsep_dme_etrack_v1 仅效果

最大值:每个文件10GB/200分钟。

AI文本同步

型号 描述 语言
gts_lyrics_line_v1 Lyrics line sync en, ko, ja, zh-cn

最大值:1GB/10分钟。文本: .txt (UTF-8),最少2行,最多60个字符/行。

输出:CSV(时间戳、lyric_text、confidence_score)+JSON报告。

支持格式

类型 格式
音频 WAV、FLAC、MP3、M4A
视频 MOV、MP4(音频自动提取)
文本 TXT(UTF-8)

输出:MP3(48kHz/320kbps)+WAV(与输入相同)。下载URL的有效期为48小时。

运作原理

Upload file → Create job → Poll status → Get download URLs

高级工具(gaudio_separate_audio, gaudio_sync_lyrics)自动处理整个流程。上传ID的有效期为72小时,可以在多个作业中重复使用。

链接

许可证

麻省理工学院