AI视频生成服务器

Luma AI MCP服务器是一个与Dream Machine API集成的工具,用于通过大型语言模型生成、管理和操作AI生成的视频和图像。

  • by bobtista
  • Python
  • 本地部署
  • 6 星标
  • 更新于
在 GitHub 查看 bobtista/luma-ai-mcp-server

使用说明

Luma AI MCP服务器🎥

Luma AI的Dream Machine API的模型上下文协议服务器。

概述

该MCP服务器与Luma AI的Dream Machine API(v1)集成,通过大型语言模型提供生成、管理和操纵AI生成的视频和图像的工具。它实现了模型上下文协议(MCP),以实现AI助手和Luma创意工具之间的无缝交互。

特性✨

  • 文本到视频生成
  • 具有关键帧的高级视频生成
  • 图像到视频转换
  • 视频扩展和插值
  • 使用参考图像生成图像
  • 在视频中添加音频
  • 视频放大
  • 信用管理
  • 发电跟踪和状态检查

工具🛠️

  1. ping

    • 检查Luma API是否正在运行
    • 无需参数
  2. create_generation

    • 创建新一代视频
    • 输入:
      • prompt (字符串,必填):要生成的视频的文本描述
      • model (字符串,可选):要使用的模型(默认值:“ray-2”)
        • 可用型号:“ray-1-6”、“ray-2”、“ray-flash-2”
      • resolution (字符串,可选):视频分辨率(选项:“540p”、“720p”、“1080p”、“4k”)
      • duration (字符串,可选):视频持续时间(目前仅支持“5s”和“9s”)
      • aspect_ratio (字符串,可选):视频宽高比(例如,“16:9”、“1:1”、“9:16”、“4:3”、“3:4”、”21:9“、”9:21“)
      • loop (boolean,可选):是否进行视频循环
      • keyframes (对象,可选):用于高级视频生成的开始帧和结束帧:
        • frame0 和 frame1 其中之一:
          • {"type": "image", "url": "image_url"} 用于图像关键帧
          • {"type": "generation", "id": "generation_id"} 用于视频关键帧
  3. get_generation

    • 获取一代的状态
    • 输入:
      • generation_id (string,必填):要检查的生成ID
    • 输出包括:
      • 世代ID
      • 状态(排队、做梦、完成、失败)
      • 失败原因(如果失败)
      • 视频URL(如果已完成)
  4. list_generations

    • 列出所有世代
    • 输入:
      • limit (number,可选):要返回的最大代数(默认值:10)
      • offset (number,可选):要跳过的代数
  5. delete_generation

    • 删除一代
    • 输入:
      • generation_id (string,必填):要删除的生成ID
  6. upscale_generation

    • 将视频生成升级到更高的分辨率
    • 输入:
      • generation_id (string,必填):要升级的一代ID
      • resolution (字符串,必填):升级视频的目标分辨率(“540p”、“720p”、“1080p”或“4k”之一)
    • 注:
      • 生成必须处于完成状态才能升级
      • 目标分辨率必须高于原始一代的分辨率
      • 每一代只能升级一次
  7. add_audio

    • 将AI生成的音频添加到视频生成中
    • 输入:
      • generation_id (必填):要添加音频的代的ID
      • prompt (必填):音频生成提示
      • negative_prompt (可选):音频生成的否定提示
      • callback_url (可选):音频处理完成时通知的URL
  8. generate_image

    • 从带有可选参考图像的文本提示中生成图像
    • 输入:
      • prompt (string,必填):要生成的图像的文本描述
      • model (字符串,可选):用于图像生成的模型(默认:“photon-1”)
        • 可用型号:“photon-1”、“photon-flash-1”
      • aspect_ratio (字符串,可选):图像宽高比(与视频选项相同)
      • image_ref (数组,可选):参考图像以指导生成
        • 每个参考: {"url": "image_url", "weight": optional_float}
      • style_ref (数组,可选):样式参考图像
        • 每个参考: {"url": "image_url", "weight": optional_float}
      • character_ref (对象,可选):字符参考图像
        • 格式: {"identity_name": {"images": ["url1", "url2", ...]}}
      • modify_image_ref (对象,可选):要修改的图像
        • 格式: {"url": "image_url", "weight": optional_float}
  9. get_credits

    • 获取当前用户的信用信息
    • 无需参数
    • 以美分为单位返回可用信用余额
  10. get_camera_motions

    • 获取所有支持的相机运动
    • 无需参数
    • 返回:可用摄影机运动字符串列表

Claude桌面设置🖥️

  1. 从获取Luma API密钥 Luma AI (注册或登录以获取您的API密钥)

  2. 将此添加到您的Claude Desktop配置文件中:

    • 在 macOS 上: ~/Library/Application Support/Claude/claude_desktop_config.json
    • 在Windows上: %APPDATA%\Claude\claude_desktop_config.json
    {
      "mcpServers": {
        "luma": {
          "command": "uv",
          "args": [
            "run",
            "--project",
            "/path/to/your/luma-ai-mcp-server",
            "-m",
            "luma_ai_mcp_server"
          ],
          "env": {
            "LUMA_API_KEY": "your-luma-api-key-here"
          }
        }
      }
    }
    

    替换:

    • /path/to/your/luma-ai-mcp-server 带有服务器目录的实际路径
    • your-luma-api-key-here 使用您的实际Luma API密钥
  3. 重新启动克劳德桌面

  4. 就是这样!现在,您可以在Claude Desktop对话中直接使用Luma AI工具。

快速故障排除🛠️

如果您遇到问题:

  1. 检查您的API密钥是否正确
  2. 确保服务器的路径正确
  3. 通过以下方式查看日志: tail -n 20 -f ~/Library/Logs/Claude/mcp*.log

高级视频生成类型🎬

Luma API支持通过关键帧生成各种类型的高级视频:

  1. 从图像开始:提供 frame0 随着 type: "image" 以及图像URL
  2. 以图像结束:提供 frame1 随着 type: "image" 以及图像URL
  3. 扩展视频:提供 frame0 随着 type: "generation" 以及一代ID
  4. 反向扩展视频:提供 frame1 随着 type: "generation" 以及一代ID
  5. 视频之间的插值:提供两者 frame0 和 frame1 随着 type: "generation" 以及生成ID

API限制和注意事项📝

  • 持续时间:目前API只支持“5秒”或“9秒”的持续时间
  • 决心:有效值为“540p”、“720p”、“1080p”和“4k”
  • 模型:
    • 视频生成:
      • “ray-2”(默认)-质量最佳,速度较慢
      • “ray-flash-2”-更快的一代
      • “ray-1-6”-传统型号
    • 图像生成:
      • “photon-1”(默认)-质量最佳,速度较慢
      • “photon-flash-1”-更快的一代
  • 发电类型:视频、图像和高级(带关键帧)
  • 纵横比:“1:1”(正方形),“16:9”(横向),“9:16”(纵向),“4:3”(标准),“3:4”
  • 州:“排队”、“做梦”、“完成”、“失败”
  • 粗化:
    • 视频生成只有在处于“完整”状态时才能升级
    • 目标分辨率必须高于原始一代的分辨率
    • 每一代只能升级一次
  • API密钥:环境变量中必需
  • API版本:使用Dream Machine API v1

许可证📄

麻省理工学院