AI导哈

浏览器语音控制代理

通过语音控制浏览器操作的AI代理服务，利用LiveKit和Webfuse MCP实现实时语音交互与浏览器自动化。

  • by hummer-netizen
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 hummer-netizen/extension-livekit-mcp

使用说明

LiveKit语音+网络融合MCP

与控制浏览器的AI对话。内置于 LiveKit代理 和 Webfuse会话MCP.

现场演示： webfu.cn/+livekit-mcp/

它的作用

单击麦克风按钮并讲话。AI会倾听、阅读页面、采取行动（点击、键入、导航），并讲述它所做的事情。语音输入，浏览器操作输出，语音返回。所有这些都是通过WebRTC实时完成的。

例子： “此页面上有什么？”-代理对页面进行快照，并大声总结。“打开头条新闻”-代理点击链接，您观看浏览器导航。

建筑

flowchart LR
    A[User speaks] -->|WebRTC| B[LiveKit Cloud]
    B -->|STT| C[Voice Agent<br/>GPT-4o + MCP tools]
    C -->|MCP| D[Webfuse Session MCP<br/>13 browser tools]
    D -->|click, type,<br/>navigate, read| E[Target Website]
    C -->|TTS| B
    B -->|WebRTC| F[User hears]
    E -->|visible in<br/>real time| G[User sees browser act]

LiveKit处理实时语音管道（转弯检测、中断、回声消除）。Webfuse处理浏览器控制。你的代码只是代理逻辑。

先决条件

快速开始

# 1. Agent
cd agent
cp ../.env.example .env.local   # Add your keys
uv sync
uv run python agent.py download-files
uv run python agent.py dev

# 2. Token server (new terminal)
cd agent
uvicorn token_server:app --port 8083

部署 extension/ 将文件夹作为共享空间上的Webfuse扩展。设置 TOKEN_URL env-var到您的令牌服务器URL。

配置

变量 描述 从哪里获取
LIVEKIT_API_KEY LiveKit Cloud API密钥 cloud.livekit.io
LIVEKIT_API_SECRET LiveKit Cloud API机密 相同
LIVEKIT_URL LiveKit Cloud WebSocket URL 相同
OPENAI_API_KEY LLM API密钥（用于GPT-4o） platform.openai.com
WEBFUSE_REST_KEY 空间REST API密钥(rk_...) Webfuse仪表板>空间>API键
TOKEN_URL 令牌服务器URL（扩展名env） 您的服务器URL或Cloudflare隧道

运作原理

语音代理在服务器端运行并加入LiveKit房间。扩展侧边栏通过WebRTC连接到同一个房间。音频实时双向流动。

当LLM决定使用浏览器工具时，它会调用Webfuse MCP端点。该操作发生在用户的浏览器选项卡中，而代理则讲述它所做的事情。

组件：

agent/
  agent.py              Voice agent (LiveKit + Webfuse MCP)
  token_server.py       Generates LiveKit room tokens
  pyproject.toml        Python dependencies

extension/
  sidepanel.html        Voice UI (mic button, transcript, visualizer)
  sidepanel.js          LiveKit client connection
  background.js         Extension scaffold
  manifest.json         Webfuse extension manifest

proxy/
  worker.js             Cloudflare Worker (CORS proxy for token server)

链接

其他Webfuse集成

许可证

麻省理工学院

相关 MCP