语音AI代理

LiveKit Agent是一个基于Python和LiveKit Cloud构建的语音AI项目,支持本地运行和云端部署,适用于语音交互和自动化任务。

  • by wiselingsnet-ops
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 wiselingsnet-ops/liveagent-mcp

使用说明

LiveKit代理

一个语音AI项目 Python的LiveKit代理 和 LiveKit云.

[!重要] 此项目已从LiveKit Agent Builder转换为代码。该代码与构建器中的生产部署完全相同。按照以下步骤将其设置为您自己的并部署到LiveKit Cloud。完成此操作后,您可以在构建器中删除该版本。

下一步行动

运行并部署您的代理

让您的代理在本地和生产环境中运行:

  1. 在本地运行:遵循 快速启动 下面的部分设置您的环境并测试代理
  2. 部署到生产环境:参见 部署到生产环境 部署选项和最佳实践部分

快速启动

起来跑步 因此,您可以开始进行自定义:

  1. 安装依赖项:

    uv sync
    
  2. 设置您的LiveKit凭据:

    注册 LiveKit云,然后配置您的环境。您可以:

    • 手动设置:复制 .env.example 到 .env.local 并填写:

      • LIVEKIT_URL
      • LIVEKIT_API_KEY
      • LIVEKIT_API_SECRET
    • 自动设置 (推荐):使用 LiveKit CLI 的:

      lk cloud auth
      lk app env -w -d .env.local
      
  3. 下载所需型号:

    uv run python src/agent.py download-files
    

    此下载 Silero VAD 和那个 LiveKit转弯检测器 模型。

  4. 测试您的代理:

    uv run python src/agent.py console
    

    这使您可以直接在终端中与您的代理交谈。

  5. 运行开发:

    uv run python src/agent.py dev
    

    连接到前端或电话时使用此功能。这会将您的代理放入LiveKit Cloud项目中,因此如果您不想影响生产流量,请使用其他项目。

自定义您的代理

代理运行后,根据您的用例对其进行增强:

  • 自定义AI模型:LiveKit通过LiveKit Cloud和一系列第三方插件支持数十种型号。请参阅 模型文档 可用选项包括LLM、STT、TTS和实时提供者。

  • 添加测试:您可以向您的代理添加完整的测试套件。请参阅 测试文档 了解更多信息。

  • 构建可靠的工作流程:对于复杂的试剂,请使用 任务和交接 而不是长指令提示。通过将代理结构化为重点突出、可重用的组件,可以最大限度地减少延迟并提高可靠性。

从AI编码助手那里获得帮助

加速你的发展 使用了解LiveKit的AI编码助手。该项目与 光标, 克劳德代码以及其他AI编码工具。

安装LiveKit Docs MCP服务器 让您的AI助手访问LiveKit文档:

对于光标:

克劳德代码:

claude mcp add --transport http livekit-docs https://docs.livekit.io/mcp

对于Codex CLI:

codex mcp add --url https://docs.livekit.io/mcp livekit-docs

对于Gemini CLI:

gemini mcp add --transport http livekit-docs https://docs.livekit.io/mcp

自定义AI助手上下文:该项目包括 代理商.md 该文件指导AI助手如何使用此代码库。 编辑此文件 添加您自己的项目特定上下文、模式和首选项。了解更多信息,请访问 https://agents.md.

前端开发

如果你还没有前端,请使用以下模板和指南开始使用:

平台 初学者模板 自定义内容
网络 livekit-examples/agent-starter-react React&Next.js-定制用户界面,添加功能,与后端集成
iOS/macOS livekit-examples/agent-starter-swift iOS、macOS、visionOS的原生应用程序——添加特定于平台的功能
飘动 livekit-examples/agent-starter-flutter 跨平台——为安卓、iOS、网络、桌面定制
React Native livekit-examples/voice-assistant-react-native 带Expo的移动设备——添加本地模块,自定义导航
安卓 livekit-examples/agent-starter-android Kotlin和Jetpack组合——构建材料设计UI
Web嵌入 livekit-examples/agent-starter-embed 适用于任何网站的小部件——自定义样式,添加到您的网站
电话技术 📚 文档 添加电话呼叫——配置SIP,添加呼叫路由,自定义提示

部署到生产环境

要将代理部署到生产环境,您可以使用LiveKit CLI:

lk agent create

请参阅 部署到生产 详细说明和优化提示指南。

加入LiveKit社区

加入 LiveKit Slack社区 以获得LiveKit团队和其他开发人员的帮助。