语音克隆服务

一个支持语音克隆、高级TTS和音效生成的MCP服务器,适用于中文和英文语音处理。

  • by kevinten-ai
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 kevinten-ai/mcp-voice-clone

使用说明

mcp语音克隆

Voice cloning and advanced TTS MCP server.
Clone voices from audio samples, generate speech with cloned voices, and create sound effects.
Works with Claude Code, Claude Desktop, Cursor, and any MCP-compatible client.

中文文档

特性

  • 语音克隆 --从短音频样本中克隆任何语音(Fish audio+ElevenLabs)
  • 高级TTS --使用克隆或预设语音生成语音
  • 音效 --从文本描述生成SFX(ElevenLabs)
  • 最佳中文语音克隆 --Fish Audio擅长中文语音克隆,非常实惠
  • 高级英语语音 --ElevenLabs提供自然、富有表现力的英语语音
  • 提供商切换 --通过以下方式为每个请求选择最佳提供商 provider 参数
  • 自动保存 --生成的音频自动保存到本地磁盘

支持的提供商

提供商 功能 最适合 定价 环境变量
鱼音频 语音克隆,TTS 中文语音克隆 ~0.01美元/请求 FISH_AUDIO_API_KEY
ElevenLabs 语音克隆、TTS、SFX 英语TTS、音效 免费套餐+付费计划 ELEVENLABS_API_KEY

供应商选择指南

Need voice cloning?
  ├─ Chinese voice?
  │   └─ fish-audio ✅ (best Chinese cloning, very affordable)
  │
  ├─ English voice?
  │   └─ elevenlabs ✅ (premium quality, natural sounding)
  │
  └─ Sound effects?
      └─ elevenlabs (SFX generation from text)

快速开始

1.克隆并安装

git clone https://github.com/kevinten-ai/mcp-voice-clone.git
cd mcp-voice-clone
uv sync

2.配置MCP

配置要使用的提供程序。至少需要一个API密钥。

Claude Code (CLI) — recommended
# Fish Audio only (Chinese voice cloning)
claude mcp add -s user mcp-voice-clone \
  --env FISH_AUDIO_API_KEY=your_key \
  -- uv --directory /path/to/mcp-voice-clone run voice-clone

# ElevenLabs only (English TTS + SFX)
claude mcp add -s user mcp-voice-clone \
  --env ELEVENLABS_API_KEY=your_key \
  -- uv --directory /path/to/mcp-voice-clone run voice-clone

# Both providers (full features)
claude mcp add -s user mcp-voice-clone \
  --env FISH_AUDIO_API_KEY=your_fish_key \
  --env ELEVENLABS_API_KEY=your_elevenlabs_key \
  -- uv --directory /path/to/mcp-voice-clone run voice-clone
Claude Desktop / Cursor (JSON config)
{
  "mcpServers": {
    "mcp-voice-clone": {
      "command": "uv",
      "args": ["--directory", "/path/to/mcp-voice-clone", "run", "voice-clone"],
      "env": {
        "FISH_AUDIO_API_KEY": "your_fish_key",
        "ELEVENLABS_API_KEY": "your_elevenlabs_key"
      }
    }
  }
}

3.使用它

克隆语音并生成语音:

"Clone this voice from /path/to/sample.mp3, name it 'MyVoice'"
"Use MyVoice to say 'Hello, this is a test of voice cloning'"
"Generate a sound effect of thunder rumbling"

工具(共5个)

语音克隆

  • clone_voice --从音频样本中克隆语音。参数: audio_path (必填), name (必填), description, provider (鱼音频/Elevelabs)。返回:voice_id用于 speak.

言语

  • 说 --使用克隆或预设语音生成语音。参数: text (必填), voice_id (必填), provider (鱼音频/Elevelabs), speed (0.5-2.0), output_path.
  • list_voices --列出提供商的可用语音。参数: provider (鱼音频/Elevelabs)。

音效

  • generate_sfx --根据文本描述生成声音效果。参数: prompt (必填), duration (秒), output_path提供商:ElevenLabs。

实用性

  • list_提供者 --显示所有已配置的语音克隆、TTS和SFX提供程序。

API密钥注册指南

1. Fish Audio — Best Chinese Voice Cloning
项目 详细信息
平台 鱼音频
URL https://fish.audio
价格 非常实惠,约0.01美元/次
Env Var FISH_AUDIO_API_KEY

步骤:

  1. 访问https://fish.audio → 注册
  2. 首选 API密钥: https://fish.audio/account/api-keys
  3. 单击“创建API密钥”→ copy
  4. 集 FISH_AUDIO_API_KEY 在MCP配置中

语音克隆提示:

  • 上传清晰的10-30秒音频样本以获得最佳效果
  • 单声道音频比立体声效果更好
  • 尽量减少样本中的背景噪声
  • 支持MP3、WAV、FLAC、M4A格式
2. ElevenLabs — Premium English TTS + SFX
项目 详细信息
平台 ElevenLabs
URL https://elevenlabs.io
免费等级 10000字符/月免费
Env Var ELEVENLABS_API_KEY

步骤:

  1. 访问https://elevenlabs.io → 注册
  2. 首选 简介+API密钥: https://elevenlabs.io/app/settings/api-keys
  3. 单击“创建API密钥”→ copy
  4. 集 ELEVENLABS_API_KEY 在MCP配置中

特征:

  • 从短音频样本中即时克隆语音(付费计划)
  • 支持29种以上语言
  • 从文本描述生成音效
  • 免费套餐提供预构建的高质量语音

环境变量

变量 提供者 必填
FISH_AUDIO_API_KEY Fish Audio(语音克隆+TTS) 至少一个
ELEVENLABS_API_KEY ElevenLabs(TTS+克隆+SFX) 需要提供商
AUDIO_OUTPUT_DIR 输出目录 可选,默认: ./output

故障排除

常见错误

错误 根本原因 解决方案
No providers configured 未设置API密钥 至少设置一个API密钥
Unknown provider: xxx 拼写错误或提供程序未配置 检查 list_providers 有关可用选项
Audio file not found audio_path无效 请检查文件路径是否存在以及是否可访问

提供商特定错误

错误 提供程序 解决方案
HTTP 401 鱼音频 检查 FISH_AUDIO_API_KEY 有效
HTTP 401 ElevenLabs 检查 ELEVENLABS_API_KEY 有效
HTTP 422 Fish音频 不支持音频格式或文件太大
quota_exceeded ElevenLabs 已达到免费层限制,请升级计划或等待重置
voice_not_found 要么 语音ID无效,请使用 list_voices 检查

提示

  • 鱼音频 中文语音克隆比ElevenLabs便宜得多
  • ElevenLabs 免费套餐包括每月10000个字符的TTS和预设语音
  • 语音克隆 质量在很大程度上取决于音频样本的质量——使用干净、清晰的录音
  • 音效 通过ElevenLabs接受自然语言描述,进行描述性描述以获得最佳结果

项目结构

src/voice_clone/
├── __init__.py
├── __main__.py
├── server.py              # MCP server + tool handlers
└── providers/
    ├── __init__.py        # Base classes (BaseTTSProvider, BaseVoiceCloningProvider, BaseSFXProvider) + registry
    ├── fish_audio.py      # Fish Audio — Chinese voice cloning + TTS
    └── elevenlabs.py      # ElevenLabs — English TTS + voice cloning + SFX

添加新提供者

  1. 创建 src/voice_clone/providers/your_provider.py
  2. 实现相关基类: BaseTTSProvider, BaseVoiceCloningProvider,或 BaseSFXProvider
  3. 注册于 server.py:_init_providers() 使用env-var检查
  4. 提供者会自动出现在工具和 list_providers

本地开发

git clone https://github.com/kevinten-ai/mcp-voice-clone.git
cd mcp-voice-clone
uv sync

# Run directly
uv run voice-clone

# Debug with MCP Inspector
npx @modelcontextprotocol/inspector uv --directory . run voice-clone

相关项目

许可证

麻省理工学院——见 许可证 了解详情。