AI导哈

计算机控制SDK

一个开源的计算机控制SDK，提供原生macOS支持，允许通过AI代理控制计算机执行各种任务，如启动应用、读取内容、点击、输入文本等。

  • by mediar-ai
  • Rust
  • 本地部署
  • 197 星标
  • 更新于
在 GitHub 查看 mediar-ai/MCP-server-client-computer-use-ai-sdk

使用说明

计算机使用AI SDK

  • 我们已经建立了一个控制计算机的MCP服务器

  • 你听说过OpenAI的运营商，你听说过克劳德的电脑使用。现在，开源的替代方案是：计算机使用来自screenpipe的SDK。

  • 它在macOS上是原生的——没有虚拟机bs，没有护栏。您可以随心所欲地将其与任何应用程序或网站一起使用。

  • 没有基于像素的bs——它依赖于底层桌面渲染元素，使其比基于像素的视觉模型更快、更可靠。

  • 现在，您可以使用我们的MCP服务器和客户端，从我们简单的Hello World模板开始构建自己的代理。

  • 我们的MCP服务器提供了开箱即用的工具：

    • 启动应用程序
    • 阅读内容
    • 点击
    • 输入文本
    • 按键

  • 这些将是计算原语，允许人工智能控制你的计算机并为你完成任务。你打算建造什么？来看看我们https://screenpi.pe

德莫斯

代理发送消息

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

获取最新的whatsapp消息

打开arc浏览器

开始

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# Install Rust (if not already installed)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Install Node.js and npm (if not already installed)
# Visit https://nodejs.org/ or use nvm

# run backend server
cd mcp-server-os-level
cargo run --bin server
# keep it running

选项1:CLI界面

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-cli-interface
npm install  # install dependencies first

# Set your Anthropic API key as an environment variable
export ANTHROPIC_API_KEY=sk-ant-xxxx  # Replace with your actual Anthropic API key
# For Windows, use: set ANTHROPIC_API_KEY=sk-ant-xxxx
# For permanent setup, add to your shell profile (.bashrc, .zshrc, etc.)

npx tsx main.ts

选项2：Web应用程序界面

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-nextjs
npm install  # install dependencies first

# Set API key via command line
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # replace XXXXXXXX with your actual key
# Or append if you want to keep other env variables
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# go to provided localhost web page

我该怎么办？

  • 构建自定义代理工作流以执行各种操作
  • 构建自定义UI，使用户能够轻松自动化计算机工作
  • 保存工作流并在cron中运行
  • 与其他MCP服务器结合，做一些很酷的事情，例如：根据我一天中与之交谈的人的历史记录填写谷歌表格

请求github中的特性和端点问题

https://github.com/m13v/computer-use-ai-sdk/issues/new/choose

相关 MCP