AI导哈

网页爬虫服务器

一个强大的MCP服务器，用于爬取网站内容并推送至Dust平台，支持单URL爬取、批量爬取、绕过反爬机制、代理爬取和深度爬取等功能。

  • by Akilinoxx
  • HTML
  • 本地部署
  • 更新于
在 GitHub 查看 Akilinoxx/mcp_crawl4ai

使用说明

终极爬虫MCP服务器

一个强大的MCP（模型上下文协议）服务器，用于爬取网站并将内容推送至Dust。

🚀 功能

  • 简单爬取 爬取单一URL
  • 爬取批次 并行抓取多个URL，同时具备自适应内存管理
  • “Crawl protégé”可以翻译为“爬行学徒”或“初学者爬行者”，具体翻译取决于上下文和语境。如果是指在某个领域或技能中刚开始学习、模仿或追随前辈的人，那么“爬行学徒”可能更贴切；如果是指一种游戏或活动中的角色或状态，那么“初学者爬行者”可能更合适。但通常，“protégé”一词更多用于描述在职业、艺术或学术等领域中受指导或保护的新人，所以“爬行学徒”可能带有特定的隐喻或比喻意味。在没有具体上下文的情况下，最通用的翻译可能是“爬行学徒”或“初学者爬行者” 使用UndetectedAdapter绕过反机器人保护
  • 使用代理爬行 使用Bright Data的住宅代理
  • 深度抓取 递归爬取网站，采用BFS/DFS/Best-First策略
  • 自动推送到Dust 所有结果都会自动发送到您的Dust空间

📦 安装

  1. 克隆仓库
git clone <your-repo-url>
cd mcp_crawl4ai
  1. 创建虚拟环境
python -m venv venv
source venv/bin/activate  # Linux/Mac
  1. 安装依赖项
pip install -r requirements.txt
  1. 设置环境变量
cp .env.example .env
# Éditer .env avec vos clés API

🔧 配置

创建一个文件 .env 使用您的凭据：

DUST_API_KEY=your_dust_api_key
DUST_WORKSPACE=your_workspace_id
DUST_SPACE=your_space_id
DUST_DATA_SOURCE=your_data_source_id

PROXY_SERVER=your_proxy_server
PROXY_USERNAME=your_proxy_username
PROXY_PASSWORD=your_proxy_password

🎯 与Claude Code一起使用

  1. 添加MCP服务器：
claude mcp add ultimate-crawler /path/to/venv/bin/python /path/to/crawler_server.py
  1. 检查连接：
claude mcp list
  1. 在Claude代码中使用：
claude code

🛠️ 可用工具

crawl_url_and_push_to_dust

爬取一个唯一URL并将其推送到Dust。

crawl_batch_urls_and_push_to_dust

并行抓取多个URL，同时管理内存。

crawl_protected_url_and_push_to_dust

使用UndetectedAdapter爬取受保护网站。

crawl_with_proxy_and_push_to_dust

通过Bright Data住宅代理进行爬取。

deep_crawl_and_push_to_dust

带过滤器和评分的网站递归抓取。

📝 许可证

麻省理工学院（MIT）

👤 作者

您的名字

相关 MCP