分布式自主AI系统

一个生产就绪的分布式AI系统,支持24/7多节点运行,具备自动工作负载分配、集群记忆和智能任务路由功能。

  • by marc-shade
  • Python
  • 本地部署
  • 5 星标
  • 更新于
在 GitHub 查看 marc-shade/agentic-system-oss

使用说明

代理系统

24/7自主代理人工智能系统-分布式多节点基础设施


概述

A production-ready distributed AI system running 24/7 across multiple nodes with automatic workload distribution, cluster memory, and intelligent task routing.
组件 描述
mcp-servers/ 19台可安装的MCP服务器 用于Claude Code CLI
├─ enhanced-memory-mcp/ 具有自动管理功能的4层持久内存
├─ agent-runtime-mcp/ 任务管理、中继管线、断路器
├─ phoenix-cortex-mcp/ 智能上下文侧车(令牌减少97%)
├─ context-engine-mcp/ 工具RAG语义搜索(减少94.8%)
├─ safla-mcp/ 高性能嵌入(1.75百万+操作/秒)
├─ research-paper-mcp/ arXiv/语义学者论文搜索
├─ video-transcript-mcp/ YouTube文字记录提取
├─ llm-council-mcp/ 多提供商法学硕士审议
├─ ember-mcp/ 质量执法和政策监护人
├─ sequential-thinking/ 参考深度推理MCP
├─ threat-intel-mcp/ 威胁情报汇总(IOC馈送)
├─ security-scanner-mcp/ Nuclei漏洞扫描
├─ network-scanner-mcp/ 网络发现和端口扫描
├─ hids-mcp/ 基于主机的入侵检测
├─ dos-detector-mcp/ DoS攻击检测
├─ nuclei-mcp/ 直接Nuclei模板管理
├─ web-vuln-scanner-mcp/ Web应用程序安全测试
├─ fraud-detection-mcp/ 异常和欺诈分析
└─ security-auditor-mcp/ 安全策略执行
claude-config/ Claude代码自定义
├─ agents/ 专业分代理人(7名代理人)
├─ commands/ Slash命令(10个命令)
├─ skills/ 构图技能(5项技能)
└─ hooks/ 工具执行前/后挂钩
scripts/ 设置和服务实用程序
avir/ AI验证独立复制协议
benchmarks/ 标准化基准规范
docs/ 架构文档
bootstrap.sh 一个命令安装脚本

为什么是普罗米修斯?

  • 验证的结果 -自己运行基准测试,看看数字
  • 开源 -完整源代码,无黑盒
  • 自托管 -您的数据保留在您的基础设施上
  • 可扩展 -添加您自己的代理、工具和工作流

🚀 快速开始

一个命令安装

curl -fsSL https://raw.githubusercontent.com/marc-shade/agentic-system/master/bootstrap-open-source.sh | bash

对于现有节点

# Run AGI demo (~0.5s full workflow)
python3 demo_agi_workflow.py

# Check cluster status
python3 cluster-deployment/distributed_task_router.py cluster-status

# Distributed task execution
from cluster_offload import offload
result = offload("make build && make test")

🔬 独立验证

我们邀请研究人员验证该系统的功能。

方法 时间 验证内容
AVIR协议 约1小时 基于AI的加密验证
完全复制 1-2天 完成系统基准测试
基准套件 约5分钟 GAIA性能相当

最新AVIR结果(2025-12-17)

  • 裁决:已验证(通过5/5个基准)
  • 证明: 13cf71841710554f3dfa6ddbaa4cb372006efdc167e44876c6f6fa1f3cdc438d

🏗️ 建筑

集群节点

节点 角色 操作系统 功能 状态
mac工作室 编排器 macOS ARM64 协调、调度 ✅
macbook空气 研究员 macOS ARM64 分析、文档 ✅
macbook pro 开发人员 macOS ARM64 实现、测试 ✅
macpro51 Builder Linux x86_64 Docker、编译、GPU ✅

核心组件

┌─────────────────────────────────────────────────────────────┐
│                    Agentic System                           │
├─────────────────────────────────────────────────────────────┤
│  Security Layer (9 servers + hooks + encryption)           │
│  ├─ threat-intel-mcp     : IOC feeds, threat scoring       │
│  ├─ security-scanner-mcp : Nuclei vulnerability scanning   │
│  ├─ network-scanner-mcp  : ARP discovery, port scanning    │
│  ├─ hids-mcp             : Host intrusion detection        │
│  ├─ dos-detector-mcp     : DoS attack detection            │
│  ├─ web-vuln-scanner-mcp : OWASP web security testing      │
│  ├─ fraud-detection-mcp  : Anomaly & fraud analysis        │
│  ├─ security-auditor-mcp : Policy enforcement & auditing   │
│  └─ Pre/Post hooks       : Injection/credential scanning   │
├─────────────────────────────────────────────────────────────┤
│  Context Optimization Layer (97% token reduction)          │
│  ├─ phoenix-cortex-mcp   : Intelligent context sidecar      │
│  └─ context-engine-mcp   : Tool-RAG semantic search         │
├─────────────────────────────────────────────────────────────┤
│  Core AGI Servers (Model Context Protocol)                  │
│  ├─ enhanced-memory-mcp  : 4-tier persistent memory         │
│  ├─ agent-runtime-mcp    : Task orchestration               │
│  ├─ sequential-thinking  : Chain-of-thought reasoning       │
│  └─ safla-mcp           : High-speed embeddings             │
├─────────────────────────────────────────────────────────────┤
│  Workflow Engines                                           │
│  ├─ Temporal            : Long-running stateful workflows   │
│  └─ AutoKitteh          : Event-driven automation           │
├─────────────────────────────────────────────────────────────┤
│  Storage Layer                                              │
│  ├─ Qdrant              : Vector database                   │
│  ├─ SQLite              : Structured data                   │
│  └─ Redis               : Cache and queues                  │
└─────────────────────────────────────────────────────────────┘
         │                    │                    │
    ┌────▼────┐         ┌────▼────┐         ┌────▼────┐
    │ Claude  │         │  GPT-4  │         │ Gemini  │
    │ Reasoning│        │  Code   │         │ Vision  │
    └─────────┘         └─────────┘         └─────────┘
         │                    │                    │
    ┌────▼────────────────────▼────────────────────▼────┐
    │              Distributed Execution                 │
    │   mac-studio ←→ macbook-air ←→ macpro51           │
    └───────────────────────────────────────────────────┘
         │                    │                    │
    ┌────▼────┐         ┌────▼────┐         ┌────▼────┐
    │ Memory  │         │ Sandbox │         │Hardware │
    │ (Qdrant)│         │(Apple C)│         │(Arduino)│
    └─────────┘         └─────────┘         └─────────┘

关键技术

  • 苹果容器 -原生macOS沙盒执行(1.5秒冷启动)
  • Qdrant -语义记忆矢量数据库
  • 时序 -长期运行的工作流编排
  • AutoKitteh -事件驱动自动化
  • 法学硕士理事会 -多提供商共识决策

📁 仓库结构

agentic-system/
├── intelligent-agents/prometheus/   # Core agent system
│   ├── agents/                      # Specialized agents
│   ├── benchmarks/                  # GAIA-comparable tests
│   └── apple_container.py           # Sandbox integration
├── cluster-deployment/              # Multi-node tools
├── mcp-servers/                     # MCP protocol servers
│   ├── enhanced-memory-mcp/         # 4-tier memory + RAG
│   ├── agent-runtime-mcp/           # Persistent tasks
│   └── voice-mode/                  # TTS/STT
├── monitoring/                      # Prometheus + Grafana
├── workflows/                       # Temporal & AutoKitteh
└── databases/                       # Persistent data

📚 文档

文档 描述
CLAUDE.md 完整的系统文档
快速启动.md AGI使用示例
GAP_ANALYSIS.md 功能对比与Manus
分布式执行 任务路由指南
研究论文 学术文件

🔒 安全

  • ED25519 SSH密钥认证
  • Apple容器沙盒执行
  • 默认网络隔离
  • 没有硬编码凭据
  • 在所有节点上配置防火墙

文档

MCP生态系统

该系统建立在 28+MCP服务器 按功能组织:

类别 服务器 亮点
上下文优化 2 凤凰皮层(减少97%),上下文引擎(工具RAG)
核心AGI 4 增强内存、代理运行时、agi-mcp、safla-mcp
集群协调 4 集群执行、节点聊天、claude流、代码执行
知识获取 3 研究论文、视频记录、llm理事会
安全与防御 9 威胁情报、安全扫描器、网络扫描器、hids、dos检测器、nucleus、网络漏洞扫描器、欺诈检测、安全审计员
创意与媒体 2 图像生成,语音agi
发展 5 member,文件分析器,加密工具,合成数据,claude代码控制

看 docs/MCP_ECOSSYSTEM.md 获取完整的服务器目录和安装说明。

安全MCP服务器(包含在本报告中)

服务器 描述 主要功能
threat-intel-mcp 威胁情报聚合 多馈送IOC跟踪(abuse.ch、CISA KEV、Feodo);威胁评分;IP/域/哈希查找
security-scanner-mcp 核心漏洞扫描 单目标和集群范围扫描;基于嵌入的异常检测;扫描历史记录
network-scanner-mcp 网络发现和监控 ARP扫描;端口扫描;服务指纹识别;集群健康监测;警报守护进程
hids-mcp 基于主机的入侵检测 文件完整性监控;异常检测;主机安全评估
dos-detector-mcp DoS攻击检测 流量模式分析;攻击识别;缓解触发因素
nuclei-mcp Direct Nuclei模板界面 模板管理;扫描编排;结果分析
web-vuln-scanner-mcp Web应用程序安全测试 OWASP覆盖率;自动扫描;报告生成
fraud-detection-mcp 欺诈和异常分析 特征工程(46个特征);GNN欺诈检测;SHAP可解释性;异步推理
security-auditor-mcp 安全策略执行 合规性审计;政策验证;安全审查

安全架构

该系统通过三层实现深度防御:

第1层:基于钩子的运行时保护 (claude-config/hooks/)

  • pre-tool-use.py 在执行之前验证每个工具调用:阻止破坏性命令,检测SQL/命令注入,防止参数中的凭据泄漏
  • post-tool-use.py 扫描工具输出以查找意外泄露的机密,记录所有操作以获取审计跟踪

第二层:MCP安全服务器 (上面列出了9台服务器)

  • 主动监控:网络扫描、入侵检测、DoS检测
  • 漏洞评估:核心扫描、web应用程序测试
  • 情报:威胁信息聚合、IOC相关性
  • 分析:使用ML模型进行欺诈检测,安全策略审计

第三层:加密和PKI (通过 克劳德码安全)

  • 静态数据的AES-256-GCM加密
  • 用于节点间身份验证的X.509 PKI
  • 用于安全凭证管理的令牌库
  • 有关加密、PKI和令牌保管库功能,请参阅链接的存储库

看 docs/SECURITY.md 获取完整的安全架构文档。

研究论文

记录该系统的完整研究论文可在以下网址获得:

许可证

MIT许可证-请参阅 许可证 了解详情。


使用克劳德代码构建 | 文档 | 基准测试