AI导哈

爬虫自修复服务器

基于AI的Scrapy爬虫自动修复服务器，当网站结构变化时自动修复爬虫，适用于网络爬虫维护和自动化数据采集场景。

  • by scrapoxy
  • 本地部署
  • 16 星标
  • 更新于
在 GitHub 查看 scrapoxy/scrapy-mcp-server

使用说明

报废的MCP服务器

网络爬虫的自我修复革命

MCP（模型上下文协议）服务器，支持人工智能自动修复Scrapy蜘蛛。当网站发生变化时，你的爬虫会自动修复。

问题

网页抓取器经常损坏。网站更改结构，部署具有不同HTML布局的A/B测试，实施新的反机器人保护，或更新其设计，恕不另行通知。选择器停止工作，解析逻辑失败，数据管道中断。到目前为止，修复损坏的刮刀意味着手动调试会话和紧急修复。

不再如此。

自我修复：游戏规则的改变者

scrapy-mcp-server 为网络抓取基础设施带来了自主修复。人工智能助手可以检查实时请求，分析发生了什么变化，并自动修复损坏的蜘蛛，而无需人工干预。

运作原理

scrapy-mcp-server 提供调试功能。结合监控系统和CI/CD自动化（不包括集成），工作流程变为：

  1. 监视器检测到蜘蛛故障 （空结果、错误、数据质量问题）
  2. 自动触发GitHub操作 （或任何CI/CD系统）
  3. AI通过MCP调试蜘蛛 -分析请求、响应和HTML结构
  4. 生成修复程序 -更新的选择器、解析逻辑、反机器人程序处理、API故障
  5. 创建pull请求 已修复的蜘蛛已准备就绪，可供审查
  6. 审核和合并 （或自信地自动合并）

这将刮擦基础设施从脆弱和高维护转变为有弹性和自我维持。

针对真实世界场景进行测试

scrapy-mcp-server 已针对常见的刮擦挑战进行了验证：

  • ✅ 网站结构更改 -布局更新、CSS类修改
  • ✅ A/B测试 -随机提供多个HTML变体
  • ✅ 反机器人检测 -识别并适应保护机制
  • ✅ API集成 -必要时自动回退到Zyte API等服务

能力

AI助手使用 scrapy-mcp-server 可以：

  • 🔍 检查 实时抓取请求和响应
  • 🐛 调试 通过分析HTML结构变化来破坏蜘蛛
  • 🔧 修复 自动选择器和解析逻辑
  • 🔄 自我修复 整个抓取基础架构

快速开始

安装

使用以下命令运行MCP服务器 uvx:

uvx scrapy-mcp-server

配置

添加到您的MCP客户端配置中（例如，Claude Desktop）：

{
  "mcpServers": {
    "scrapy-inspector": {
      "command": "uvx",
      "args": ["scrapy-mcp-server"]
    }
  }
}

用法示例

配置后，AI助手可以帮助修复损坏的蜘蛛：

# Fix Scrapy Spider: Example Data Collection

Fix an existing Scrapy spider that collects data from a target website.

## Task

1. Inspect the existing code: spider in `myproject/spiders/example.py` and items in `myproject/items.py`
2. Run the spider to confirm it's no longer collecting data: `scrapy crawl example`
3. Debug and fix the spider using the **MCP scrapy-inspector** tool

Note: Start with the `create_spider` tool to understand the spider development and debugging logic.

## Environment

- **Python:** 3.13.1 (with virtual environment `.venv`)
- **Scrapy:** 2.13.3 (with Scrapy project `myproject`)

AI助手将分析蜘蛛，确定网站上发生了什么变化，并提供必要的修复。

用例

  • 生产监控：网站结构更改时自动修复蜘蛛
  • 零停机报废：在问题影响数据管道之前检测并修复问题
  • 规模经营：维护数百个蜘蛛，无需按比例的维护开销
  • 发展速度：在几分钟内而不是几小时内修复破碎的蜘蛛
  • 团队效率：所有开发人员采用一致的调试方法

为什么这会改变一切

传统的网页抓取需要持续的人工维护。每次网站更改、A/B测试部署或反机器人更新都意味着开发人员时间、紧急修复和数据管道中断。

具有自愈能力：

  • 将维护时间减少90%+
  • 在问题影响生产之前解决问题
  • 无需扩展团队即可扩展抓取操作
  • 自动处理A/B测试和反机器人措施

需求

  • Python>=3.8
  • 兼容Windows、Linux和macOS（英特尔和苹果硅）
  • MCP兼容AI助手（Claude等）

为什么选择MCP？

模型上下文协议为AI助手与开发工具交互提供了一种标准化的方式。这意味着：

  • 可与任何兼容MCP的AI助手配合使用
  • 安全的本地执行
  • 没有数据离开您的机器
  • 可扩展且面向未来

许可证

版权所有©2015–2025 CoreDump Engineering。保留所有权利。

相关 MCP