数据处理处理器

Kimi K2 Heavy Processor MCP 是一个用于 Claude Desktop 的重型计算和数据处理处理器,支持复杂的 SQL 操作、大规模数据转换和具有自动重试机制的弹性批处理。

  • by justmy2satoshis
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 justmy2satoshis/kimi-k2-heavy-processor-mcp

使用说明

Kimi K2重型处理器MCP

Claude Desktop的重计算和数据处理MCP。使用自动重试机制处理复杂的SQL操作、大规模数据转换和弹性批处理。

🌟 特性

  • SQL处理:对复杂查询的完全SQLite支持
  • 批量操作:高效处理数百万条记录
  • 弹性执行:使用指数回退自动重试
  • 数据管道:支持流媒体的ETL操作
  • 内存管理:大型数据集的智能分块
  • 进度跟踪:实时状态更新
  • 错误恢复:基于检查点的恢复

🚀 核心能力

SQL操作

  • 跨多个表的复杂JOIN操作
  • 窗口功能和CTE
  • 批量插入和更新
  • 交易管理
  • 指标优化

数据处理

  • CSV/JSON/XML解析和生成
  • 数据验证和清理
  • 格式转换
  • 聚合管道
  • 统计计算

弹性特征

  • 失败时自动重试(3次尝试)
  • 指数退避(1s、2s、4s)
  • 错误时事务回滚
  • 进度检查点
  • 部分结果恢复

📦 安装

通过NPM(推荐)

npm install -g kimi-k2-heavy-processor-mcp

手动安装

git clone https://github.com/justmy2satoshis/kimi-k2-heavy-processor-mcp.git
cd kimi-k2-heavy-processor-mcp
pip install -r requirements.txt

🔧 配置

添加到您的Claude Desktop配置文件中:

视窗: %APPDATA%\Claude\claude_desktop_config.json macOS: ~/Library/Application Support/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "kimi-k2-heavy-processor": {
      "command": "python",
      "args": ["C:\\path\\to\\kimi-k2-heavy-processor-mcp\\src\\server.py"],
      "env": {
        "DB_PATH": "C:\\Users\\username\\AppData\\Local\\kimi-k2\\data.db",
        "MAX_MEMORY_MB": "2048",
        "CHUNK_SIZE": "10000"
      }
    }
  }
}

📖 使用示例

执行SQL查询

result = await execute_sql({
  "query": "SELECT * FROM users WHERE created_at > ?",
  "params": ["2024-01-01"],
  "database": "main.db"
})

成批数据处理

processed = await process_batch({
  "input_file": "data.csv",
  "operations": [
    {"type": "filter", "condition": "amount > 100"},
    {"type": "transform", "mapping": "amount * 1.1"},
    {"type": "aggregate", "group_by": "category"}
  ],
  "output_format": "json"
})

弹性操作

result = await resilient_execute({
  "operation": "complex_etl",
  "source": "raw_data.csv",
  "max_retries": 3,
  "checkpoint_interval": 1000
})

数据管道

pipeline = await create_pipeline({
  "stages": [
    {"name": "extract", "source": "database"},
    {"name": "transform", "rules": "business_logic.json"},
    {"name": "load", "target": "warehouse.db"}
  ],
  "parallel": true
})

💡 用例

数据分析

  • 大型CSV文件处理
  • 统计计算
  • 数据聚合和分组
  • 时间序列分析

ETL操作

  • 数据库迁移
  • 数据仓库加载
  • 格式转换
  • 数据清理管道

批处理

  • 批量电子邮件处理
  • 日志文件分析
  • 报告生成
  • 数据验证

SQL操作

  • 复杂的报告查询
  • 数据库维护
  • 指标优化
  • 性能分析

🏗️ 建筑

kimi-k2-heavy-processor-mcp/
├── src/
│   ├── server.py           # Main MCP server
│   ├── sql_processor.py    # SQL execution engine
│   ├── batch_processor.py  # Batch operations
│   ├── resilient.py        # Retry mechanisms
│   └── pipeline.py         # Data pipelines
├── examples/               # Usage examples
├── tests/                  # Test suite
└── requirements.txt

📊 性能指标

操作 记录/秒 内存使用情况
CSV读取 100000 <500MB
SQL插入 50000 <200MB
连接查询 1M行/秒 <1GB
聚合 500000 <300MB
变换 75000 <400MB

🧪 测试

pytest tests/

测试包括:

  • SQL操作准确性
  • 重试机制验证
  • 内存管理
  • 性能基准
  • 错误恢复

🤝 贡献

欢迎投稿!看 贡献.md 作为指导方针。

优先领域

  1. 其他数据格式
  2. 性能优化
  3. 新的SQL函数
  4. 管道模板

🔒 安全

  • SQL注入预防
  • 输入净化
  • 安全的文件操作
  • 内存限制执行
  • 进程分离

📝 许可证

MIT许可证-请参阅 许可证 详细信息文件

🙏 致谢

  • 模型上下文协议的拟人化
  • 嵌入式数据库SQLite团队
  • Python数据工具社区
  • 贡献者和测试者

📧 支持

🚦 状态

  • ✅ 生产就绪
  • ✅ 弹性执行
  • ✅ 大规模加工
  • ✅ 综合测试
  • ✅ 克劳德桌面兼容

⚡ 快速开始

# 1. Load CSV data
await load_csv("sales_data.csv", "sales_table")

# 2. Process with SQL
await execute_sql("""
  SELECT
    category,
    SUM(amount) as total,
    AVG(amount) as average
  FROM sales_table
  GROUP BY category
  HAVING total > 10000
""")

# 3. Export results
await export_results("summary.json", format="json")

备注:需要启用MCP支持的Claude Desktop。

内置于❤️ 面向数据工程师和分析师