AI导哈

OCR服务器

DeepSeek-OCR-2 Lazy Server是一个按需加载的OCR服务，能够在闲置时自动释放GPU内存，适用于本地文档识别和文本提取。

  • by groxaxo
  • Python
  • 本地部署
  • 2 星标
  • 更新于
在 GitHub 查看 groxaxo/deepseek-ocr2-lazy

使用说明

DeepSeek-OCR-2懒惰服务器

在本地运行DeepSeek视觉模型的有效方法。 按需装载。闲置时卸载。保存VRAM。

⚡ 为什么使用这个？

在VRAM中永久运行DeepSeek-OCR-2等大型视觉语言模型（VLM）是昂贵的。这 一级延迟加载服务器:

  1. 立即开始：进程以毫秒为单位启动（启动时没有模型加载）。
  2. 按需加载：重型7GB+型号仅在您实际发送请求时加载。
  3. 自动卸载：沉默15分钟后（可配置），它会从GPU内存中擦除模型，将VRAM返回给操作系统、游戏或其他AI模型。
  4. MCP兼容：即插即用 克劳德桌面 以及其他MCP试剂。

🚀 安装

选项A：康达（建议当地使用）

# 1. Create Environment
conda create -n deepseek-ocr2 python=3.11 -y
conda activate deepseek-ocr2

# 2. Install PyTorch (CUDA 12.1 example)
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 3. Install Unsloth (Optimized Inference)
pip install --upgrade pip
pip install "unsloth[cu121-torch230] @ git+https://github.com/unslothai/unsloth.git"

# 4. Install Dependencies
pip install -r requirements.txt

选项B:Docker

# Build
docker build -t deepseek-ocr2-lazy .

# Run (passing GPU)
docker run --gpus all -d \
  -p 8012:8012 \
  -v $(pwd)/models:/data/models \
  -v $(pwd)/output:/data/output \
  --name deepseek-ocr \
  deepseek-ocr2-lazy

🛠 用法

1.启动服务器

python deepseek_ocr2_lazy_server.py

默认端口为8012。

2.OCR图像（cURL）

# Extract Markdown (Standard)
curl -X POST "http://localhost:8012/v1/ocr" \
  -F "file=@/path/to/document.png" \
  -F "mode=markdown"

# Raw Text Mode
curl -X POST "http://localhost:8012/v1/ocr" \
  -F "file=@/path/to/receipt.jpg" \
  -F "mode=free"

🤖 MCP服务器（克劳德桌面集成）

直接在内部使用DeepSeek-OCR-2 克劳德桌面 从本地文件系统读取文档。

添加到您的 claude_desktop_config.json:

{
  "mcpServers": {
    "deepseek-ocr": {
      "command": "/path/to/conda/envs/deepseek-ocr2/bin/python",
      "args": ["/absolute/path/to/deepseek-ocr2-lazy/deepseek_ocr2_mcp.py"],
      "env": {
        "DS_OCR2_URL": "http://127.0.0.1:8012"
      }
    }
  }
}

可用工具：

  • ocr_image(image_path, mode="markdown")：从图像文件读取文本/表格。

⚙️ 配置

设置这些环境变量以调整行为：

变量 默认值 描述
DS_OCR2_IDLE_UNLOAD_SECONDS 900 闲置15分钟后卸载模型。
DS_OCR2_LOAD_IN_4BIT 0 设置 1 使用4位量化（较低VRAM）。
DS_OCR2_PORT 8012 服务器端口
DS_OCR2_MOCK 0 设置 1 在没有GPU的情况下进行测试。

📜 学分

相关 MCP