使用说明
Kimi K2重型处理器MCP
Claude Desktop的重计算和数据处理MCP。使用自动重试机制处理复杂的SQL操作、大规模数据转换和弹性批处理。
🌟 特性
- SQL处理:对复杂查询的完全SQLite支持
- 批量操作:高效处理数百万条记录
- 弹性执行:使用指数回退自动重试
- 数据管道:支持流媒体的ETL操作
- 内存管理:大型数据集的智能分块
- 进度跟踪:实时状态更新
- 错误恢复:基于检查点的恢复
🚀 核心能力
SQL操作
- 跨多个表的复杂JOIN操作
- 窗口功能和CTE
- 批量插入和更新
- 交易管理
- 指标优化
数据处理
- CSV/JSON/XML解析和生成
- 数据验证和清理
- 格式转换
- 聚合管道
- 统计计算
弹性特征
- 失败时自动重试(3次尝试)
- 指数退避(1s、2s、4s)
- 错误时事务回滚
- 进度检查点
- 部分结果恢复
📦 安装
通过NPM(推荐)
npm install -g kimi-k2-heavy-processor-mcp
手动安装
git clone https://github.com/justmy2satoshis/kimi-k2-heavy-processor-mcp.git
cd kimi-k2-heavy-processor-mcp
pip install -r requirements.txt
🔧 配置
添加到您的Claude Desktop配置文件中:
视窗: %APPDATA%\Claude\claude_desktop_config.json
macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
{
"mcpServers": {
"kimi-k2-heavy-processor": {
"command": "python",
"args": ["C:\\path\\to\\kimi-k2-heavy-processor-mcp\\src\\server.py"],
"env": {
"DB_PATH": "C:\\Users\\username\\AppData\\Local\\kimi-k2\\data.db",
"MAX_MEMORY_MB": "2048",
"CHUNK_SIZE": "10000"
}
}
}
}
📖 使用示例
执行SQL查询
result = await execute_sql({
"query": "SELECT * FROM users WHERE created_at > ?",
"params": ["2024-01-01"],
"database": "main.db"
})
成批数据处理
processed = await process_batch({
"input_file": "data.csv",
"operations": [
{"type": "filter", "condition": "amount > 100"},
{"type": "transform", "mapping": "amount * 1.1"},
{"type": "aggregate", "group_by": "category"}
],
"output_format": "json"
})
弹性操作
result = await resilient_execute({
"operation": "complex_etl",
"source": "raw_data.csv",
"max_retries": 3,
"checkpoint_interval": 1000
})
数据管道
pipeline = await create_pipeline({
"stages": [
{"name": "extract", "source": "database"},
{"name": "transform", "rules": "business_logic.json"},
{"name": "load", "target": "warehouse.db"}
],
"parallel": true
})
💡 用例
数据分析
- 大型CSV文件处理
- 统计计算
- 数据聚合和分组
- 时间序列分析
ETL操作
- 数据库迁移
- 数据仓库加载
- 格式转换
- 数据清理管道
批处理
- 批量电子邮件处理
- 日志文件分析
- 报告生成
- 数据验证
SQL操作
- 复杂的报告查询
- 数据库维护
- 指标优化
- 性能分析
🏗️ 建筑
kimi-k2-heavy-processor-mcp/
├── src/
│ ├── server.py # Main MCP server
│ ├── sql_processor.py # SQL execution engine
│ ├── batch_processor.py # Batch operations
│ ├── resilient.py # Retry mechanisms
│ └── pipeline.py # Data pipelines
├── examples/ # Usage examples
├── tests/ # Test suite
└── requirements.txt
📊 性能指标
| 操作 | 记录/秒 | 内存使用情况 |
|---|---|---|
| CSV读取 | 100000 | <500MB |
| SQL插入 | 50000 | <200MB |
| 连接查询 | 1M行/秒 | <1GB |
| 聚合 | 500000 | <300MB |
| 变换 | 75000 | <400MB |
🧪 测试
pytest tests/
测试包括:
- SQL操作准确性
- 重试机制验证
- 内存管理
- 性能基准
- 错误恢复
🤝 贡献
欢迎投稿!看 贡献.md 作为指导方针。
优先领域
- 其他数据格式
- 性能优化
- 新的SQL函数
- 管道模板
🔒 安全
- SQL注入预防
- 输入净化
- 安全的文件操作
- 内存限制执行
- 进程分离
📝 许可证
MIT许可证-请参阅 许可证 详细信息文件
🙏 致谢
- 模型上下文协议的拟人化
- 嵌入式数据库SQLite团队
- Python数据工具社区
- 贡献者和测试者
📧 支持
🚦 状态
- ✅ 生产就绪
- ✅ 弹性执行
- ✅ 大规模加工
- ✅ 综合测试
- ✅ 克劳德桌面兼容
⚡ 快速开始
# 1. Load CSV data
await load_csv("sales_data.csv", "sales_table")
# 2. Process with SQL
await execute_sql("""
SELECT
category,
SUM(amount) as total,
AVG(amount) as average
FROM sales_table
GROUP BY category
HAVING total > 10000
""")
# 3. Export results
await export_results("summary.json", format="json")
备注:需要启用MCP支持的Claude Desktop。
内置于❤️ 面向数据工程师和分析师