网页抓取清洗服务

基于Cloudflare Worker的MCP服务器,提供网页抓取和内容清洗功能,返回干净的Markdown、纯文本或原始HTML格式内容。

  • by FactrueSolin
  • Rust
  • 混合部署
  • 1 星标
  • 更新于
在 GitHub 查看 FactrueSolin/ScrapeCleanMcp

使用说明

ScrapeCleanMcp

一个基于 Cloudflare Worker 的 MCP 服务器,用于网页抓取和内容清洗,返回干净的 Markdown 格式内容。

体验地址

  • streamablehttp地址:https://fetch.sereniblue.com/mcp

功能

  • 使用 Cloudflare Browser Rendering (Puppeteer) 进行网页抓取
  • 将网页内容清洗并转换为 Markdown 格式
  • 提供 fetch_markdown MCP 工具,供 AI 客户端调用
  • 提供 fetch_txt MCP 工具,返回纯文本内容
  • 提供 fetch_html MCP 工具,返回原始 HTML

技术栈

  • Cloudflare Worker + Durable Objects
  • TypeScript
  • Rust → WebAssembly (用于内容转换)
  • pnpm

部署

前置要求

  • Node.js
  • pnpm
  • wrangler CLI
  • Rust + wasm-pack (用于编译 WASM)

安装依赖

pnpm install

本地开发

pnpm run build:dev

部署到 Cloudflare

pnpm run build:deploy

部署后,MCP 服务端点为:https://<your-worker>.workers.dev/mcp

使用

在 MCP 客户端(如 Claude Desktop)中配置:

{
  "mcpServers": {
    "scrape-clean": {
      "command": "npx",
      "args": ["mcp-remote", "https://<your-worker>.workers.dev/mcp"]
    }
  }
}