唇形同步工具

Flyworks MCP是一款快速免费的唇形同步视频生成工具,支持通过音频或文本输入为数字人像创建口型同步视频。

  • by Flyworks-AI
  • Python
  • 混合部署
  • 94 星标
  • 更新于
在 GitHub 查看 Flyworks-AI/flyworks-mcp

使用说明

Flyworks MCP:免费且快速的零镜头Lipsync工具

概述

Flyworks MCP是一个模型上下文协议(MCP)服务器,它为与Flyworks API交互提供了一个方便的接口。它有助于为各种数字化身(包括逼真和卡通风格)快速免费地创建lipsync视频。

演示

输入头像视频(素材):

带有TTS的音频片段 我是一个飞影数字人。Welcome to Flyworks MCP server demo. This tool enables fast and free lipsync video creation for a wide range of digital avatars, including realistic and cartoon styles.:

生成的lipsync视频:

特性

  • 使用数字化身视频和音频作为输入创建唇形同步视频
  • 按文本创建唇形同步视频(文本转语音)
  • 从图像或视频创建数字人类化身
  • 支持异步和同步操作模式
  • 更多功能即将推出。..

需求

  • Python 3.8+
  • 依赖关系: httpx, mcp[cli]

用法

与Claude或其他MCP客户集成

在Claude桌面中使用

首选 Claude > Settings > Developer > Edit Config > claude_desktop_config.json 包括以下内容:

{
  "mcpServers": {
    "flyworks": {
      "command": "uvx",
      "args": [
        "flyworks-mcp",
        "-y"
      ],
      "env": {
        "FLYWORKS_API_TOKEN": "your_api_token_here",
        "FLYWORKS_API_BASE_URL": "https://hfw-api.hifly.cc/api/v2/hifly",
        "FLYWORKS_MCP_BASE_PATH": "/path/to/your/output/directory"
      }
    }
  }
}
在游标中使用

首选 Cursor -> Preferences -> Cursor Settings -> MCP -> Add new global MCP Server 添加上述配置。

确保更换 your_api_token_here 使用您的实际API令牌,并更新 FLYWORKS_MCP_BASE_PATH 将输出文件保存到系统上的有效目录。

注: 我们提供使用令牌免费试用我们的工具 2aeda3bcefac46a3。但是,请注意,此免费访问的每日配额是有限的。此外,生成的视频将带有水印,并限制在45秒的持续时间内。如需完全访问,请通过以下方式联系我们:bd@flyworks.ai获取您的代币。

通过Smithery安装

通过以下方式自动安装克劳德桌面版的flyworks mcp 史密瑟里:

npx -y @smithery/cli install @Flyworks-AI/flyworks-mcp --client claude

本地安装

  1. 克隆此存储库:

    git clone https://github.com/yourusername/flyworks-mcp.git
    cd flyworks-mcp
    
  2. 安装依赖项:

    pip install httpx "mcp[cli]>=1.6.0"
    

    或使用 uv:

    uv pip install httpx "mcp[cli]>=1.6.0"
    

    为了避免服务器启动时出现超时问题,我们建议预先安装所有依赖项:

    pip install pygments pydantic-core httpx "mcp[cli]>=1.6.0"
    
  3. 配置

将您的Flyworks API代币设置为环境变量:

# Linux/macOS
export FLYWORKS_API_TOKEN="your_token_here"

# Windows (Command Prompt)
set FLYWORKS_API_TOKEN=your_token_here

# Windows (PowerShell)
$env:FLYWORKS_API_TOKEN="your_token_here"

或者,您可以创建 .env 文件。

  1. 运行服务器

跑吧 server.py 直接文件:

python server.py
spawn uvx ENOENT问题:

请在终端中运行以下命令确认其绝对路径:

which uvx

获得绝对路径(例如/usr/local/bin/uvx)后,更新配置以使用该路径(例如“command”:“/usr/local/bin/uvx”)。

工具说明

1.通过音频创建Lipsync视频(create_lipsync_video_by_audio)

创建带有音频输入的lipsync视频。制作数字人类化身的动画,使其与提供的音频同步说话。

参数:

  • avatar:数字人类化身ID。必须提供此参数或化身创建参数。
  • avatar_video_url:用于创建化身的视频的URL。
  • avatar_image_url:用于创建化身的图像的URL。
  • avatar_video_file:用于创建化身的视频文件的本地路径。
  • avatar_image_file:用于创建化身的图像文件的本地路径。
  • audio_url:音频文件的远程URL。必须提供audio_url或audio_file之一。
  • audio_file:音频文件的本地路径。必须提供audio_url或audio_file之一。
  • title:创建的视频的可选标题。
  • async_mode:如果为true,则立即返回task_id。如果为false,则等待完成并下载视频。默认值为true。
  • output_path:如果async_mode为false,则将下载的视频保存在哪里。默认值为“output.mp4”。

备注:

  • 对于化身创建,请提供avatar_video_url、avatar_image_url、avatar _video\ufile或avatar_image_file中的一个。
  • 如果直接提供化身ID,则这些参数将被忽略。

退货:

  • 如果async_mode为true:稍后检查状态的task_id和created_avatar(如果创建了新的头像)
  • 如果async_mode为false:下载的视频路径、任务结果和创建的头像(如果适用)

2.按文本创建Lipsync视频(create_lipsync_video_by_text)

使用文本输入创建lipsync视频。从文本中生成音频,并为数字人类化身制作动画来说话。

参数:

  • avatar:数字人类化身ID。必须提供此参数或化身创建参数。
  • avatar_video_url:用于创建化身的视频的URL。
  • avatar_image_url:用于创建化身的图像的URL。
  • avatar_video_file:用于创建化身的视频文件的本地路径。
  • avatar_image_file:用于创建化身的图像文件的本地路径。
  • text:化身要说出的文本内容。必修的。
  • voice:用于文本转语音的语音ID。如果没有提供,将自动选择随机语音。
  • title:创建的视频的可选标题。
  • async_mode:如果为true,则立即返回task_id。如果为false,则等待完成并下载视频。默认值为true。
  • output_path:如果async_mode为false,则将下载的视频保存在哪里。默认值为“output.mp4”。

备注:

  • 对于化身创建,请提供avatar_video_url、avatar_image_url、avatar _video\ufile或avatar_image_file中的一个。
  • 如果直接提供化身ID,则这些参数将被忽略。

退货:

  • 如果async_mode为true:稍后检查状态的task_id、选定的语音id和created_avatar(如果适用)
  • 如果async_mode为false:下载的视频路径、任务结果、选择的语音ID和创建的头像(如果适用)

检查任务状态

对于以异步模式运行的任务,您可以使用Flyworks API的 /creation/task 带有工具返回的taskid的端点。

备注

  • 作业处理可能需要一些时间,请耐心等待
  • 视频文件URL是临时的,请及时下载并保存
  • 使用本地文件时,服务器会自动将它们上传到Flyworks服务器
  • 在同步模式下,该工具将等待任务完成并自动下载视频
  • 同步模式的最大允许等待时间为10分钟(600秒)
  • 通过视频创建头像通常会提供更好的质量,但需要更长的时间
  • 为了快速测试,通过图像创建化身更快,但质量可能较低

相关链接