视觉异常检测服务

卢姆·麦克普

LeWorldModel的MCP服务器 --Claude Code代理和其他MCP客户端的视觉异常检测。

使用JEPA风格的ViT编码器计算帧之间的意外分数，使代理能够检测意外的UI更改、视频异常和状态不匹配。

快速开始

npx lewm-mcp

或全局安装：

npm install -g lewm-mcp
lewm-mcp

Python要求

该模型在Python子进程中运行。安装依赖项：

pip install torch transformers Pillow numpy
# For video analysis:
pip install opencv-python

远程推理： 在GPU/MPS服务器上运行（例如。 100.105.97.18)，开始 lewm-mcp 然后通过SSH或Tailscale通过MCP连接。

工具

load_model

将ViT编码器加载到内存中。在其他工具之前打一次电话。

{ "checkpoint": "/path/to/checkpoint" }

返回模型信息（参数计数、设备、embed_dim、状态）。

get_model_status

检查模型是否已加载，检查点、参数计数、设备（mps/cuda/cpu）。

analyze_screenshot

对屏幕截图进行编码，并计算与前一帧相比的惊喜。

{
  "source": "/path/to/screenshot.png",
  "previous_source": "/path/to/previous.png",
  "anomaly_threshold": 2.0
}

source 接受文件路径 或 base64编码的图像数据。

退货： embedding, surprise_score, normalized_surprise, cosine_similarity, mse, anomaly.

compare_states

比较嵌入空间中的预期屏幕状态和实际屏幕状态。

{
  "expected": "/path/to/expected.png",
  "actual": "/path/to/actual.png",
  "anomaly_threshold": 0.1
}

退货： cosine_similarity, mse, surprise_score, match, anomaly.

analyze_video

从视频中提取帧，运行ViT，返回惊喜时间线。

{
  "video_path": "/path/to/recording.mp4",
  "frame_sample_rate": 1,
  "sigma_threshold": 2.0,
  "top_n": 5
}

退货： timestamps, surprise_scores, normalized_scores, anomaly_windows, top_anomalies.

run_surprise_detection

屏幕截图或视频文件目录上的完整管道。

{
  "directory": "/path/to/screenshots/",
  "threshold_multiplier": 2.0
}

退货： timeline, exceeded_threshold, stats.

建筑

Claude Code agent
       │
       │ MCP (stdio)
       ▼
  lewm-mcp (TypeScript)
       │
       │ stdin/stdout JSON protocol
       ▼
  model.py (Python subprocess)
       │
       ▼
  transformers ViTModel (tiny: hidden=192, layers=3, patch=16)
  runs on: mps → cuda → cpu

Python进程在工具调用之间保持活动状态——模型加载一次并保持温暖。

在Claude代码中配置

增添 ~/.claude/claude_desktop_config.json （或等效的MCP配置）：

{
  "mcpServers": {
    "lewm-mcp": {
      "command": "npx",
      "args": ["lewm-mcp"]
    }
  }
}

模型详情

默认模型：用随机权重初始化的微小ViT。

• hidden_size: 192
• num_hidden_layers: 3
• num_attention_heads: 3
• patch_size: 16
• image_size: 224

通过a checkpoint 通往 load_model 使用微调或预训练的检查点（必须是 transformers ViTModel检查点）。

环境变量

许可证

麻省理工学院