网页转Markdown服务

UnWeb MCP Server 是一个将网页转换为Markdown的服务,支持内容质量评分、多页面爬取和LangChain + LlamaIndex导出,适用于文档转换和内容提取场景。

  • by mbsoft-systems
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 mbsoft-systems/unweb-mcp

使用说明

UnWeb MCP服务器

MCP服务器,用于将网页转换为markdown 克劳德代码, 光标,以及 帆板运动内容质量评分。多页面抓取。LangChain+LlamaIdex出口。

快速开始

在获取免费API密钥 附录unweb.info (500学分/月,无信用卡)。

克劳德代码

添加 ~/.claude/settings.json:

{
  "mcpServers": {
    "unweb": {
      "command": "npx",
      "args": ["-y", "@mbsoftsystems/unweb-mcp"],
      "env": { "UNWEB_API_KEY": "unweb_your_key_here" }
    }
  }
}

光标

添加 .cursor/mcp.json:

{
  "mcpServers": {
    "unweb": {
      "command": "npx",
      "args": ["-y", "@mbsoftsystems/unweb-mcp"],
      "env": { "UNWEB_API_KEY": "unweb_your_key_here" }
    }
  }
}

帆板运动

Windsurf MCP配置文件中的格式相同。

工具

工具 描述 积分
convert_url 将网页URL转换为具有质量分数 1的干净标记
convert_html 将原始HTML字符串转换为markdown 1
crawl_start 开始抓取文档网站(路径受限的BFS) 1/页
crawl_status 检查爬网作业进度 0
crawl_download 将所有已爬网页面下载为串联的markdown 0

convert_url

将任何网页转换为干净的CommonMark标记:

“转换https://docs.stripe.com/api/charges降价”

返回降价内容加上 质量分数(0-100) 表明提取置信度。分数低于40表示页面可能需要JavaScript渲染。

convert_html

转换您已经拥有的HTML-API响应、抓取的内容、生成的标记:

“将此HTML转换为markdown: <h1>Title</h1><p>Content</p>"

crawl_start→ crawl_status→ crawl_download

抓取整个文档网站:

“爬行https://docs.example.com从/guides/开始,并将所有页面标记为“

爬虫运行一个路径受限的BFS,转换每个页面。使用 crawl_status 检查进度和 crawl_download 要使用分隔符连接所有页面,请执行以下操作:

--- Page: guides/getting-started.md ---
# Getting Started
Content here...

--- Page: guides/authentication.md ---
# Authentication
Content here...

导出格式: raw-md (默认), langchain (JSONL用于LangChain), llamaindex (JSON表示LlamaIdex)。

为什么选择UnWeb MCP?

功能 UnWeb Firecrawl Jina阅读器
内容质量评分 每次回答0-100分 否 否
多页抓取 是 是 否
LangChain/LlamaIdex导出 本地 否 否
转换原始HTML 是 否(仅URL) 否(只URL)
免费等级 500学分/月(经常性) 500学分(一次性) 费率有限
最便宜的支付 每月12美元 每月16美元 基于代币

定价

计划 积分/月 价格
免费 500 0美元
新手 2000 12美元/月
专业版 15000 每月39美元
规模 60000 99美元/月

链接

许可证

麻省理工学院