AI导哈

分布式基础设施平台

Titan Grid是一个零信任、高并发的微服务平台，包含分布式限流器、安全存储引擎和AI代理模块，适用于需要高安全性和高性能的分布式系统场景。

  • by kusuridheeraj
  • Java
  • 本地部署
  • 更新于
在 GitHub 查看 kusuridheeraj/titan-grid

使用说明

🛡️ TITAN GRID：员工工程师组合

一个零信任、高并发的基础设施平台，展示了员工工程师（SDE-3）在分布式系统、安全和人工智能安全方面的能力。

🏛️ 架构概述

Titan Grid是一个微服务平台，旨在解决现实世界中的分布式系统挑战：

┌─────────────────────────────────────────────────────────────┐
│                       TITAN GRID PLATFORM                    │
├─────────────────────────────────────────────────────────────┤
│                                                              │
│  ⚔️  AEGIS          🔐 CRYPTEX           🧠 NEXUS           │
│  Rate Limiter      Storage Engine       AI Agent            │
│  Java + Redis      Java + Vault         Python + MCP        │
│                                                              │
│  - Sliding Window  - Stream Encrypt     - Tool Sandbox      │
│  - Lua Atomicity   - Zero-Copy I/O      - RBAC Controls     │
│  - 10k RPS         - 50GB on 512MB      - Human-in-Loop     │
│                                                              │
└─────────────────────────────────────────────────────────────┘

模块

⚔️ 神盾 -分布式速率限制器

  • 挑战： 分布式请求计数中的竞争条件
  • 解决方案： 用于原子操作的Redis Lua脚本
  • 影响： 处理10000个RPS，无泄漏请求

🔐 藏密筒 -零信任流媒体存储

  • 挑战： 加密大文件时出现OOM错误
  • 解决方案： CipherInputStream 带背压的管道
  • 影响： 在512MB RAM容器上上传50GB文件

🧠 纽带 -安全人工智能操作员

  • 挑战： 人工智能代理不能信任生产系统
  • 解决方案： 使用沙盒工具的模型上下文协议（MCP）
  • 影响： 安全的LLM驱动的DevOps自动化

🚀 快速开始

先决条件

  • Docker桌面27+
  • Java 17+
  • Python 3.13+
  • AWS和Azure帐户（免费层）

设置

# Clone repository
git clone https://github.com/kusuridheeraj/titan-grid.git
cd titan-grid

# Configure environment variables
cp .env.template .env
# Edit .env with your AWS/Azure credentials

# Start all services
make up

# Verify health
curl http://localhost:8080/health  # Aegis
curl http://localhost:8081/health  # Cryptex
curl http://localhost:8082/health  # Nexus

📂 项目结构

titan-grid/
├── aegis/              # Java Spring Boot - Rate Limiter
│   ├── src/
│   │   └── main/
│   │       ├── java/
│   │       └── resources/
│   │           └── rate_limiter.lua
│   └── pom.xml
│
├── cryptex/            # Java Spring Boot - Secure Storage
│   ├── src/
│   │   └── main/
│   │       └── java/
│   └── pom.xml
│
├── nexus/              # Python FastAPI - AI Agent
│   ├── app/
│   │   ├── tools/
│   │   └── main.py
│   └── requirements.txt
│
├── infra/              # Infrastructure as Code
│   ├── docker-compose.yml
│   └── grafana/
│
└── docs/               # Architecture Decision Records
    ├── ADR-001-rate-limiting.md
    └── ADR-002-streaming-encryption.md

🎯 主要特点

1. 分布式并发控制

  • 通过Redis Lua脚本进行原子操作
  • 滑动窗口算法防止竞争条件
  • 用于优雅降级的断路器

2. 内存高效加密

  • 使用流式加密 CipherInputStream
  • 使用HashiCorp Vault进行信封加密
  • 无论文件大小，内存使用率都保持不变

3. AI安全架构

  • 模型上下文协议（MCP）实现
  • 只读与只读工具分类
  • 敏感操作的人工审批

4. 生产级操作

  • Prometheus指标+Grafana仪表板
  • 具有自动故障注入的混沌工程
  • 全面的健康检查和断路器

📝 博客系列

该项目附带了一个详细的博客系列：

  1. “为什么你的Java速率限制器正在泄漏” -深入了解分布式竞赛条件
  2. “从OOM杀手中幸存” -如何在512MB RAM上上传50GB文件
  3. “驯服机器中的幽灵” -使用MCP构建安全的DevOps代理
  4. “我故意杀死了我的制作数据库” -混沌工程指南

🧪 测试与验证

负载测试

# Install K6
choco install k6

# Run load test (10k requests)
k6 run infra/tests/aegis-load-test.js

集成测试

# Aegis tests
cd aegis && mvn test

# Cryptex tests
cd cryptex && mvn test

# Nexus tests
cd nexus && pytest

📊 性能基准

度量 目标 实际
宙斯盾RPS 10000 12500
Cryptex内存（10GB文件） <100MB 52MB
Nexus响应时间 <500ms 320ms
系统正常运行时间（混沌） 99.5% 99.7%

🛠️ 技术栈

后端

  • Java 17： Spring Boot 3，Spring Cloud，弹性4j
  • Python 3.13： FastAPI、MCP SDK、LangChain

基础设施

  • 数据库： Redis（缓存）、PostgreSQL（持久性）
  • 安全： HashiCorp保险库（机密），Azure Entra ID（身份验证）
  • 储存： AWS S3（加密文件）
  • 人工智能： Ollama（本地呼叫3）

开发运维

  • 集装箱化： Docker，Docker编写
  • 可观察性： 普罗米修斯，格拉法纳
  • 测试： JUnit、pytest、K6

📖 文档

🤝 贡献

这是一个投资组合项目，但欢迎反馈！请打开以下问题：

  • 错误报告
  • 架构建议
  • 性能优化思路

📜 许可证

麻省理工学院许可证-您可以自由使用此项目进行学习或作为作品集模板。

🧑‍💻 关于作者

Dheeraj（“罗恩”）
员工工程师组合项目| 领英 | 博客

构建这个项目是为了展示SDE-3在分布式系统、安全架构和人工智能安全方面的能力。

🔖 标签

distributed-systems rate-limiting encryption ai-safety mcp spring-boot fastapi redis vault docker staff-engineer portfolio

相关 MCP