网络爬虫服务

Name: 网络爬虫服务
Author: ShiDuLin

crawl4-mcp是一个高级网络爬虫服务，能够抓取任何内容并保存为本地markdown文件，适用于RAG（检索增强生成）等场景。

在 GitHub 查看 ShiDuLin/crawl4-mcp

使用说明

本项目是一个crawl4ai 的爬虫MCP SERVER，提供高级网络爬虫。使用此 MCP SERVER，您可以抓取任何内容，将内容保存为本地markdown文件，然后在任何地方将该知识用于 RAG。

使用 uv 创建虚拟环境并安装依赖

uv venv -p 3.12
.\.venv\Scripts\activate
uv sync
crawl4ai-setup

```bash
uv run src/crawl4ai_mcp.py
```

server将启动并监听配置的主机和端口。

一旦服务器使用 SSE 传输运行，您就可以使用以下配置连接到它：

{
  "mcpServers": {
    "crawl4-mcp": {
      "transport": "sse",
      "url": "http://localhost:8051/sse"
    }
  }
}