AI导哈

网页爬虫服务

一个基于Model Context Protocol (MCP)的网页爬虫服务，提供多种输出格式和元数据提取功能，适用于网页数据抓取和集成。

  • by CoachSteff
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 CoachSteff/cs-crawler-mcp

使用说明

CS爬行器MCP

一种模型上下文协议（MCP）服务器，通过crawl4ai库提供网络爬行功能。

特性

  • 具有多种输出格式的Web爬行
  • 元数据抽取
  • MCP集成
  • 轻松部署

快速开始

  1. 克隆存储库
  2. 安装依赖项： pip install -r requirements.txt
  3. 安装剧作家： python -m playwright install chromium
  4. 配置您的MCP客户端

安装

git clone https://github.com/CoachSteff/cs-crawler-mcp.git
cd cs-crawler-mcp
pip install -r requirements.txt
python -m playwright install chromium

本地配置

此项目使用本地 config.json （被git忽略）并发送a config.json.template.

cp config.json.template config.json
# Edit python_path and server_path to your environment

CI/测试将回落到 config.json.template 用于在以下情况下进行架构检查 config.json 缺席。

用法

添加到您的MCP客户端配置（Claude Desktop、Cursor等）。两种选择：

  • NPX（没有Python预安装，在第一次运行时自动引导本地venv）：
{
  "mcpServers": {
    "cs-crawler": {
      "command": "npx",
      "args": ["-y", "github:CoachSteff/cs-crawler-mcp@main"],
      "env": {}
    }
  }
}
  • 直接Python入口点（之后 pip install -r requirements.txt):
{
  "mcpServers": {
    "cs-crawler": {
      "command": "python3",
      "args": ["/absolute/path/to/cs-crawler-mcp/server.py"],
      "env": {}
    }
  }
}

可用工具

  • crawl_url -抓取单个URL
  • get_metadata -提取页面元数据

许可证

MIT许可证-有关详细信息，请参阅许可证文件。

相关 MCP