网页抓取内容清洗服务

基于Cloudflare Worker的网页抓取和内容清洗服务,可将网页内容转换为干净的Markdown格式,适用于AI客户端调用。

  • by FactrueSolin
  • TypeScript
  • 混合部署
  • 1 星标
  • 更新于
在 GitHub 查看 FactrueSolin/image-edit-mcp

使用说明

ScrapeCleanMcp

一个基于 Cloudflare Worker 的 MCP 服务器,用于网页抓取和内容清洗,返回干净的 Markdown 格式内容。

体验地址

  • streamablehttp地址:https://fetch.sereniblue.com/mcp

功能

  • 使用 Cloudflare Browser Rendering (Puppeteer) 进行网页抓取
  • 将网页内容清洗并转换为 Markdown 格式
  • 提供 fetch_markdown MCP 工具,供 AI 客户端调用

技术栈

  • Cloudflare Worker + Durable Objects
  • TypeScript
  • Rust → WebAssembly (用于内容转换)
  • pnpm

部署

前置要求

  • Node.js
  • pnpm
  • wrangler CLI
  • Rust + wasm-pack (用于编译 WASM)

安装依赖

pnpm install

本地开发

pnpm run build:dev

部署到 Cloudflare

pnpm run build:deploy

部署后,MCP 服务端点为:https://<your-worker>.workers.dev/mcp

使用

在 MCP 客户端(如 Claude Desktop)中配置:

{
  "mcpServers": {
    "scrape-clean": {
      "command": "npx",
      "args": ["mcp-remote", "https://<your-worker>.workers.dev/mcp"]
    }
  }
}