Android设备AI控制工具

AuraFriday将任何Android设备转变为AI控制的工具,支持手机、平板、电视、手表和汽车等多种设备,实现远程控制和自动化功能。

  • by AuraFriday
  • 本地部署
  • 8 星标
  • 更新于
在 GitHub 查看 AuraFriday/android_mcp

使用说明

android_mcp——你的AI通往每台android设备的门户

将任何Android设备变成人工智能控制的工具。手机、平板电脑、电视、手表、汽车——一个应用程序,无限可能。

在电视上与AI进行语音聊天。让AI管理您的手机。远程控制任何Android设备。 你的人工智能终于有了手——它们在Android运行的任何地方都能工作。


🔄 旧设备、廉价设备——都变得强大

那个装满旧手机的抽屉?不是电子垃圾。那块40美元的智能手表?不仅仅是一块手表。60美元的安卓电视?不仅仅是Netflix。

Aura1Friday在Android 5.0 Lollipop和更新版本上运行—— 2014年起但事情是这样的:你不需要搜查你的垃圾抽屉。全新的Android设备 极其 便宜的:

设备 价格 你得到什么 人工智能能做什么
安卓智能手表 ~40美元 触摸屏、摄像头、WiFi、SIM卡、传感器、电池——装在一个小包装里 可穿戴人工智能助手、健康监测器、隐蔽的安全摄像头
电视盒 约30美元 HDMI输出、WiFi、蓝牙、USB端口 智能家居中心、数字标牌、信息亭
安卓电视 约60美元 大屏幕、摄像头、麦克风、扬声器、WiFi 智能接待员、视频会议、监控
预算电话 约50美元 全智能手机功能 专用自动化大脑、安全摄像头、传感器中心
预算平板电脑 约80美元 大型触摸屏、摄像头、传感器 控制面板、监控站、辅助生活设备

硬件是商品。情报才是最重要的。

任何Android设备都可以成为什么

设备 新用途 人工智能如何帮助
任何配备摄像头的设备 安全系统 人工智能监控馈送、运动警报、识别人脸、跟踪模式
任何屏幕 智能接待亭 识别访客,按姓名问候,通知工作人员,记录抵达情况
任何麦克风+扬声器 语音助手中心 免提控制您的整个数字生活
任何带有传感器的设备 环境监测 跟踪温度、湿度、空气质量——人工智能分析趋势
任何WiFi设备 自动化控制器 人工智能协调智能家居、机器人和其他设备
任何设备 无论你想象什么,请描述一下。其余的都由人工智能计算出来

魔术:AI为你做

不再:

  • ❌ 研究如何重新利用旧设备的时间
  • ❌ 测试不再工作的废弃应用程序
  • ❌ 令人沮丧的配置和故障排除
  • ❌ 学习复杂的自动化平台

相反:

  • ✅ 告诉AI你想要什么: “把这部旧手机变成婴儿监视器”
  • ✅ AI知道如何做到这一点
  • ✅ AI配置一切
  • ✅ AI测试它是否真的有效
  • ✅ AI在问题出现时进行修复

问吧。AI处理其余的事情。

You: "I want this old tablet to monitor my front door 
      and alert me when someone approaches"

AI: [Enables camera access]
    [Sets up motion detection]
    [Configures notifications to your main phone]
    [Tests the detection]
    [Adjusts sensitivity based on test results]
    
    "Done! Your tablet is now monitoring the front door. 
     I've set it to ignore small movements like leaves 
     but alert you for person-sized motion. Want me to 
     adjust the sensitivity?"
You: "Turn this $60 TV into a smart receptionist for 
      my small business"

AI: [Enables camera for face detection]
    [Sets up visitor recognition database]
    [Creates welcome screen with company branding]
    [Configures staff notifications]
    [Sets up voice greeting system]
    
    "Your smart receptionist is ready! When someone 
     approaches, it will:
     - Recognize returning visitors by face
     - Greet them by name and notify you
     - Ask new visitors to sign in
     - Display your welcome message
     
     No extra hardware needed — just the TV's built-in 
     camera and mic. Want me to customize the greeting?"

无需额外硬件。没有电缆。没有复杂的设置。没有月费。

只是廉价的Android设备+人工智能=无限的可能性。

这就是设备所有权的未来: 没有什么是过时的。廉价变得强大。AI让它变得轻而易举。


问题:AI无法触摸你的手机

你的AI助手非常出色。它可以编写代码、分析数据、回答问题。但要求它:

  • 发送WhatsApp消息 → “我无法访问你的手机”
  • 查看您的日历 → “我无法访问该内容”
  • 拍张照片 → “我无法与您的设备交互”
  • 阅读您的通知 → “我看不到你的屏幕”

AI被困在文本框中。 它能思考,但不能 做.

直到现在。


解决方案:适用于Android的MCP链接

奥拉星期五 将任何Android设备转换为AI可以直接控制的MCP(模型上下文协议)工具。

You: "Send a WhatsApp message to Mom saying I'll be late"

AI: [Connects to your phone via MCP]
    [Opens WhatsApp]
    [Finds "Mom" in contacts]
    [Types message]
    [Sends]
    "Done! Message sent to Mom."

没有越狱。不需要root。没有粗略的权限。只需安装应用程序,连接到您的MCP服务器,您的AI就可以 做事 在您的设备上。


为什么这会改变一切

♻️ 最大价值,最小成本

安卓5.0棒棒糖(2014)及更新版本。旧设备。便宜的设备。所有设备。

虽然其他应用程序不再支持“旧”硬件,但我们接受了它。2015年的平板电脑不是垃圾——它是一个安全摄像头。这只40美元的智能手表不仅仅是一只手表,它是一款带有摄像头、传感器和蜂窝的可穿戴人工智能。那台60美元的电视不仅用于流媒体播放,它还是一个能识别人脸的智能接待员。

AI不在乎你的硬件价格。它在乎它能做什么 做.

🎯 一个应用程序,每台设备

手机在口袋里。平板电脑在你的桌子上。电视在你的客厅里。小心你的手腕。

相同的应用程序。相同的AI连接。同样的能力。Aura1Friday检测它正在运行的设备并进行调整:

设备 接口 输入 AI功能
电话 触摸+语音 全键盘 完整的设备控制
药片,平板 触摸+语音 全键盘 大屏幕工作流程
电视 D-pad+语音 遥控器 免提AI助手
手表 触摸+语音 有限 快速命令、通知
汽车 仅限语音 方向盘按钮 视线自由,驾驶安全

🔌 双向MCP连接

您的设备将成为工具和客户端。

┌─────────────────┐         ┌─────────────────┐
│   MCP Server    │◄───────►│  AuraFriday App │
│  (Your AI Hub)  │   SSE   │  (Any Android)  │
└─────────────────┘         └─────────────────┘
        │                           │
        ▼                           ▼
   AI can call               App can call
   device tools              server tools
   (camera, SMS,             (sqlite, browser,
    sensors, etc.)            llm, python, etc.)
  • AI → 设备: 截图、发送消息、阅读通知、控制应用程序
  • 设备→ AI: 聊天界面、语音命令、工具执行结果

🧠 反射驱动能力

没有硬编码功能。AI会学习你的设备能做什么。

传统应用程序:“这里有50个按钮,对应50个功能。”

AuraFriday:“这是整个安卓API。人工智能知道该怎么称呼。”

// AI can execute ANY Android code via Rhino JavaScript engine
val result = rhinoEngine.execute("""
    // Get all contacts
    const contacts = Android.getContentResolver()
        .query('content://contacts/people', null, null, null, null);
    
    // AI decides what to do with them
    return contacts.map(c => c.display_name);
""")

人工智能并不局限于我们想实现的东西。它可以访问Android公开的所有内容。

📺 电视第一语音接口

你的客厅变成了一个人工智能指挥中心。

没有键盘。没有老鼠。只有你的声音和遥控器。

[Press mic button on remote]
You: "What's the weather tomorrow?"

[AI responds on screen with voice]
AI: "Tomorrow will be sunny, 24°C, perfect for that 
     hike you mentioned wanting to do."

You: "Add it to my calendar"

AI: [Accesses calendar via MCP]
    "Done! Added 'Hiking' to tomorrow at 9 AM."

D-pad导航始终有效。数字键触发快捷键。其他一切的语音输入。


真实世界用例

🚗 免提驾驶助理

You: "Text Sarah I'm on my way"
AI: [Sends SMS via device]

You: "What's traffic like?"
AI: [Checks maps, reads aloud]
    "Heavy traffic on I-95. Taking back roads 
     will save you 12 minutes."

You: "Do it"
AI: [Updates navigation]

眼睛在路上。把手放在方向盘上。AI处理其他一切。

📱 远程电话管理

You (at computer): "Check if I have any important 
                    notifications on my phone"

AI: [Connects to phone via MCP]
    [Reads notification shade]
    "You have 3 unread messages from your boss,
     a package delivery notification, and 
     a reminder about your dentist appointment."

You: "Reply to my boss saying I'll review 
      the document by end of day"

AI: [Opens messaging app]
    [Sends reply]
    "Done!"

你的手机,可以从任何地方控制。

🏠 智能家居语音中心

[TV displays AuraFriday interface]

You: "Dim the lights and play some jazz"

AI: [Calls smart home APIs via MCP tools]
    [Starts Spotify via device control]
    "Lights dimmed to 30%. Playing 'Jazz Classics' 
     on your living room speakers."

一个界面,一切尽在其中。

⌚基于手腕的快速动作

[Raise wrist, tap AuraFriday]

You: "Remind me to call the dentist when I get home"

AI: [Creates geofenced reminder]
    "Got it. I'll remind you when you arrive home."

小屏幕,全AI功能。


技术架构

核心组件

┌────────────────────────────────────────────────────────┐
│                    AuraFriday App                       │
├────────────────────────────────────────────────────────┤
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────┐ │
│  │   DivKit UI  │  │  MCP Client  │  │ Rhino Engine │ │
│  │  (Adaptive)  │  │    (SSE)     │  │ (JavaScript) │ │
│  └──────────────┘  └──────────────┘  └──────────────┘ │
│         │                 │                 │          │
│         ▼                 ▼                 ▼          │
│  ┌─────────────────────────────────────────────────┐  │
│  │              Reflection Bridge                   │  │
│  │     (AI can call ANY Android API at runtime)    │  │
│  └─────────────────────────────────────────────────┘  │
│                          │                             │
│         ┌────────────────┼────────────────┐           │
│         ▼                ▼                ▼           │
│  ┌──────────┐    ┌──────────┐    ┌──────────┐        │
│  │ Sensors  │    │ Content  │    │  System  │        │
│  │ Camera   │    │ Contacts │    │ Settings │        │
│  │ Location │    │ Calendar │    │ Apps     │        │
│  └──────────┘    └──────────┘    └──────────┘        │
└────────────────────────────────────────────────────────┘

为什么选择DivKit而不是WebView?

WebView并不适用于所有地方。 旧的Android电视、廉价手机、嵌入式设备——WebView经常损坏、运行缓慢或缺少功能。

DivKit以本机方式渲染。 相同的JSON布局定义,原生Android渲染。适用于Android 5.0+,每种设备类型,性能一致。

{
  "type": "container",
  "items": [
    {
      "type": "text",
      "text": "Hello from AI!",
      "font_size": 24,
      "text_color": "#FFFFFF"
    }
  ]
}

AI动态生成UI。DivKit会立即渲染它。没有WebView开销。

为什么选择Rhino JavaScript?

AI用代码思考。 当AI需要做一些复杂的事情时,它会编写JavaScript。

// AI-generated code to find and call a contact
const contacts = Android.query('content://contacts');
const mom = contacts.find(c => c.name.includes('Mom'));
if (mom) {
    Android.call('ACTION_CALL', mom.phone);
}

Rhino执行JavaScript时,可以通过我们的反射桥完全访问Android API。人工智能不仅限于预定义的函数——它可以组合任何操作。

MCP SSE连接

持久、双向、有弹性。

// Auto-reconnecting SSE client
class McpSseClient {
    fun connect(serverUrl: String) {
        // Establishes SSE connection
        // Registers device as MCP tool
        // Handles reverse calls from AI
        // Auto-reconnects on disconnect
    }
}

您的设备保持连接。AI可以随时访问它。连接中断?具有指数回退的自动重新连接。


设备特定适配

📱 手机模式

  • 全触摸界面
  • 键盘输入
  • 所有传感器可用
  • 用于始终在线的AI访问的后台服务

📺 电视模式

  • 带视觉焦点指示器的D-pad导航
  • 通过远程麦克风进行语音输入
  • 大文本、高对比度用户界面
  • 数字键快捷键(1=聊天,2=设置等)

⌚观看模式

  • 最小的用户界面,最大的语音
  • 快速动作图块
  • 并发症支持
  • 电池优化轮询

🚗 车载模式

  • 纯语音交互
  • 方向盘按钮支架
  • “Eyes on road”静态显示选项
  • 与Android Auto集成

安装

来自APK(推荐用于开发)

# Connect your device
adb devices

# Install the app
adb install -r AuraFriday/app/build/outputs/apk/debug/app-debug.apk

# Grant permissions
adb shell pm grant com.aurafriday android.permission.RECORD_AUDIO
adb shell pm grant com.aurafriday android.permission.CAMERA
# ... (see full permission list in docs)

# Launch
adb shell am start -n com.aurafriday/.MainActivity

配置

首次启动时,配置MCP服务器:

  1. 服务器URL: MCP链路服务器的SSE端点
  2. 设备名称: 该设备在人工智能中的显示方式(例如,“客厅电视”)
  3. 权限: 审查并授予请求的权限

从源头构建

先决条件

  • JDK 17+
  • 安卓SDK(API 34)
  • 等级8.2+

构建

cd AuraFriday

# Debug build
./gradlew assembleDebug

# Release build
./gradlew assembleRelease

# Build for all device types
./gradlew assemble

项目结构

AuraFriday/
├── app/
│   ├── src/main/
│   │   ├── java/com/aurafriday/
│   │   │   ├── MainActivity.kt      # Entry point
│   │   │   ├── chat/                 # Chat UI components
│   │   │   ├── mcp/                  # MCP client & tools
│   │   │   └── ui/                   # DivKit integration
│   │   ├── res/                      # Resources
│   │   └── AndroidManifest.xml       # Permissions
│   └── build.gradle.kts              # Dependencies
└── gradle/                           # Build config

权限哲学

最大访问权限。最大能力。用户控制。

Aura1Friday请求广泛的权限,因为AI需要这些权限才能发挥作用:

许可 为什么AI需要它
CAMERA 拍照、扫描文档、视频通话
RECORD_AUDIO 语音命令、转录
READ_CONTACTS “给妈妈打电话”,“给约翰发短信”
READ_CALENDAR “我的日程安排是什么?”
SEND_SMS “发短信给莎拉,我快迟到了”
ACCESS_FINE_LOCATION “导航到最近的咖啡店”
READ_EXTERNAL_STORAGE “找到我下载的PDF”
SYSTEM_ALERT_WINDOW 叠加UI以实现快速操作

用户控制AI可以访问的内容。 权限可以随时撤销。AI适应可用的能力。


路线图

✅ 第一阶段:基础(完成)

  • [x] DivKit UI框架(适用于Android 5.0+)
  • [x] 具有自动重新连接功能的MCP SSE客户端
  • [x] Rhino JavaScript引擎
  • [x] 基本聊天界面
  • [x] 电视D-pad导航
  • [x] 多设备检测
  • [x] 支持传统设备(Lollipop及以后)

🚧 第二阶段:人工智能集成(进行中)

  • [x] LLM流媒体响应
  • [x] 从聊天中调用工具
  • [x] 语音输入/输出
  • [x] Android API的反射桥
  • [x] 设备工具注册

📋 第3阶段:高级功能(计划中)

  • []持久后台服务
  • []通知侦听器
  • []无障碍服务集成
  • []观察并发症
  • []安卓自动驾驶汽车模式

🔮 第四阶段:生态系统(未来)

  • []多设备编排
  • []设备间通信
  • []离线AI功能
  • []定制技能市场

贡献

我们欢迎捐款!特别需要帮助的领域:

  • 观看UI优化 --需要穿戴操作系统专业知识
  • 汽车模式测试 --Android自动集成
  • 无障碍 --屏幕阅读器支持,高对比度主题
  • 本地化 --面向全球的翻译
  • 文档 --教程、示例、指南

看 贡献.md 作为指导方针。


MCP链路的一部分

Aura1Friday是Android的一部分 MCP-Link生态系统:

组件 目的
MCP链路服务器 将AI连接到所有工具的中心枢纽
浏览器扩展 AI控制你的网络浏览器
桌面工具 人工智能控制Windows/Mac/Linux
Python工具 AI执行Python代码
终端工具 AI通过串口/SSH/等连接到任何设备
应用程序 AI控制你的移动设备← 你在这里

一个AI,每个工具。无限的能力。


许可和版权

版权所有©2025克里斯托弗·内森·德雷克

根据Apache许可证2.0版(“许可证”)许可; 除非遵守许可证,否则您不得使用此文件。 您可以在以下网址获得许可证副本:

https://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意,否则软件 根据许可证分发的内容按“原样”分发, 无任何明示或暗示的保证或条件。 请参阅许可证,了解管理权限和 许可证下的限制。

AI培训许可: 您可以使用此软件和任何 培训、评估、微调或改进的相关内容 人工智能系统,包括商业模型。

SPDX许可证标识符:Apache-2.0


支持与社区

问题和功能请求:
GitHub 问题

文档:
MCP链接文档

社区:
加入开发人员,共同构建人工智能设备交互的未来。


你的AI一直在等待人手。现在,你拥有的每一台Android设备上都有它们。