使用说明
回声
桌面计算的未来
Echo是一个多模式的AI代理，它位于您的桌面上。
它不只是聊天 行为.回声船作为 两个强大的代理人合二为一:
| 🖥️ 桌面语音助手 | ☁️ 谷歌自动化代理 |
|---|---|
| 使用自然语音命令控制您的操作系统 | 使用人工智能自动化谷歌工作区 |
| 启动应用程序、键入文本、导航GUI | 管理课堂、驱动器、表单和幻灯片 |
| MCP电动工具执行 | 语音和文本聊天界面 |
使用高级语音到语音模型和模型上下文协议（MCP），Echo可以监听您的声音，理解您的意图，并在本地或云端完成任务。
Echo是什么？
Echo弥合了对话式人工智能和现实世界行动之间的差距。大多数助手都被困在浏览器选项卡中。Echo在 两种互补模式:
🖥️ 桌面语音助手
Echo直接与您的操作系统集成，使其能够：
- 看 您的屏幕和理解上下文。
- 听 您的语音具有亚秒延迟（实时API）。
- 法案 使用专门的工具在您的应用程序、文件和工作流上。
说出这样的命令 “打开VS Code，创建一个新文件并编写一个Python hello world” 并观察Echo自主执行每一步。
☁️ 谷歌自动化代理
Echo连接到您的Google Workspace服务，使其能够：
- 教 --管理Google课堂课程、学生和作业。
- 创建 --使用AI生成表单、测验和幻灯片演示文稿。
- 协调 --发送批量邀请并自动管理名册。
特性
本地语音交互
自然地说话。Echo使用 双子座2.0闪光灯的原生音频功能，用于流畅、可中断、类似人类的对话。没有“唤醒词”或机器人停顿。在语音和文字聊天之间无缝切换。
完全桌面控制 （桌面语音助手）
Echo不仅限于API。它可以像人类一样使用你的电脑：
- 应用程序启动：“打开VS Code和Spotify。”
- UI交互：单击、键入、滚动和导航GUI应用程序。
- 屏幕感知：它“看到”你所看到的，以提供上下文感知的帮助。
- 多步骤工作流：自动链接复杂的动作序列。
谷歌工作区自动化 （谷歌自动化代理）
Echo通过语音或文本处理您的整个Google工作区：
- 谷歌课堂：创建课程、邀请学生、发布带有人工智能增强描述和文件附件的作业。
- 谷歌表单：通过人工智能问题生成自动生成测验和反馈调查。
- 谷歌幻灯片：使用人工智能生成的轮廓和Flux驱动的图像构建专业演示文稿。
- Google 云端硬盘：上传和管理文件，将它们无缝地附加到任务中。
模型上下文协议（MCP）
基于人工智能工具的开放标准构建。Echo连接到任何MCP服务器：
- 文件系统：安全地读/写文件。
- 终端：执行命令并分析输出。
- 浏览器：自动化网络研究和任务。
- 自定义：轻松添加自己的工具。
透明推理
观看Echo实时“思考”。UI将 思维链（CoT），向您详细展示代理如何逐步规划和执行复杂任务。
设计安全
- 用于用户管理的Firebase身份验证。
- 所有敏感凭据的环境变量——代码中没有秘密。
- CORS限制API访问；OAuth 2.0适用于所有谷歌服务。
建筑
Echo使用混合架构，结合了由共享AI核心支持的两个代理。
graph TD
User((User)) -->|Voice/Text| ElectronUI[Electron App / TUI]
User -->|Voice/Text| WebUI[Next.js Web App]
subgraph Desktop Voice Assistant
ElectronUI -->|WebSocket| Backend
Backend[FastAPI Server] -->|Orchestrate| Agent[Planner Agent]
Backend -->|Stream| Voice[Gemini Live API]
Agent -->|Think| CoT[Chain of Thought]
Agent -->|Execute| Tools[Tool Manager]
Tools <-->|MCP| Windows[Windows OS / FileSystem]
end
subgraph Google Automation Agent
WebUI -->|WebSocket| GBackend[FastAPI Server]
GBackend -->|AI| Gemini[Gemini 2.0 Flash]
GBackend -->|Auth| Firebase[Firebase Auth]
GBackend -->|API| Classroom[Google Classroom]
GBackend -->|API| Forms[Google Forms]
GBackend -->|API| Slides[Google Slides]
GBackend -->|API| Drive[Google Drive]
end
快速开始
请参阅 完整的快速入门指南 了解两种代理的详细说明。
先决条件
- Python 3.10+
- Node.js 18+
- Google Gemini API密钥 （具有实时API访问权限）
安装
-
克隆仓库
git clone https://github.com/Precision-Recall/Echo.git cd Echo -
设置Python环境 Echo使用
uv用于快速Python包管理（推荐）。# With uv (recommended) uv sync # Or with pip pip install -r requirements.txt -
配置凭据 创建一个
.env根目录中的文件：GEMINI_API_KEY=your_gemini_api_key_here # Required for Google Automation Agent GOOGLE_CLIENT_ID=your_google_client_id GOOGLE_CLIENT_SECRET=your_google_client_secret
🖥️ 运行桌面语音助手
选项A：电子应用程序（推荐）
语音用户界面和思维链可视化的完整视觉体验。
# Terminal 1: Start the Windows MCP support server
uvx windows-mcp --transport streamable-http --port 8000
# Terminal 2: Start the backend
python src/backend/main.py
# Terminal 3: Start the Electron UI
cd electron-app
npm install
npm start
选项B：终端接口（TUI）
一个轻量级的、黑客友好的终端界面。
# Voice Mode (Interactive)
python TUI.py --mode voice
# Fast Command Mode
python TUI.py --command "Open Notepad and type Hello World"
☁️ 运行Google自动化代理
# Terminal 1: Start the backend
cd gemini_live_mcp/echo_backend
pip install -r requirements.txt
python main.py
# Terminal 2: Start the frontend (after backend is running)
cd gemini_live_mcp/echo_frontend
npm install
npm run dev
然后打开 http://localhost:3000 在您的浏览器中。
💡 对于Google课堂功能，请放置您的
credentials.json（OAuth客户端凭据）内部gemini_live_mcp/echo_backend/.
文档
| 文档 | 描述 |
|---|---|
| 快速入门指南 | 为两个代理逐步设置 |
| Gemini Live MCP | 谷歌自动化代理——网络前端和课堂 |
| MCP配置 | 配置连接的MCP工具服务器 |
| 电子设置 | 桌面应用程序设置指南 |
项目结构
Echo/
├── TUI.py # Terminal User Interface entry point
├── electron-app/ # Desktop UI (Node.js/React/Electron)
├── gemini_live_mcp/ # Google Automation Agent
│ ├── echo_backend/ # FastAPI backend (Gemini + Classroom API)
│ └── echo_frontend/ # Next.js frontend (voice + chat UI)
├── src/
│ ├── agent/ # Core Agent Logic (Planner, Executor)
│ ├── tools/ # Native Tool Implementations
│ └── utils/ # Helpers for Audio, MCP, Logging
├── Prompts/ # System prompts & MCP skill definitions
└── tests/ # Unit and Integration Tests
贡献
Echo目前是一个私人研究项目。贡献仅限于核心团队。
- 创建要素分支(
git checkout -b feature/amazing-feature) - 提交您的更改(
git commit -m 'Add amazing feature') - 推到分支(
git push origin feature/amazing-feature) - 打开拉取请求
Built with by Precision and Recall.
