URL转Markdown服务

一个将URL和原始HTML转换为干净Markdown的MCP服务器,适用于研究、数据提取、文档摄取、内容迁移和RAG管道。

  • by SapienEx-AI
  • JavaScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 SapienEx-AI/urltomarkdown-mcp

使用说明

url标记mcp

一 主控程序 将URL和原始HTML转换为干净的Markdown的服务器。建在上面 url标记.

让任何兼容MCP的人工智能助手都能阅读网页——只需将其指向一个URL,即可获得结构化的Markdown,为摘要、分析或摄入工作流程做好准备。

工具

convert_url_to_markdown

获取URL并将网页转换为干净的Markdown。

参数 类型 必填 默认 说明
url string(URL) yes - 要获取和转换的URL
inline_title boolean 否 true 前页标题为H1
ignore_links boolean 否 false 删除超链接
readability boolean 否 true 使用可读性获得更清洁的输出

convert_html_to_markdown

将原始HTML转换为干净的Markdown(不需要网络请求)。

参数 类型 必填 默认 说明
html string yes - 要转换的原始HTML
url string(URL) 否 - 相对链接和域筛选器的源URL
inline_title boolean 否 true 前页标题为H1
ignore_links boolean 否 false 删除超链接
readability boolean 否 true 使用可读性获得更清洁的输出

用例

  • 研究 --让你的人工智能助手阅读和总结文章、文档或博客文章
  • 数据提取 --从网页中提取结构化内容进行分析
  • 文件摄取 -将API文档或参考页面转换为Markdown以获取上下文
  • 内容迁移 --将web内容批量转换为Markdown格式
  • RAG 流程 --将干净的网络内容输入检索增强生成系统

安装

使用npx(无需安装)

{
  "mcpServers": {
    "urltomarkdown": {
      "command": "npx",
      "args": ["-y", "urltomarkdown-mcp"]
    }
  }
}

全局安装

npm install -g urltomarkdown-mcp

然后添加到MCP配置中:

{
  "mcpServers": {
    "urltomarkdown": {
      "command": "urltomarkdown-mcp"
    }
  }
}

来源

git clone https://github.com/SapienEx-AI/urltomarkdown-mcp.git
cd urltomarkdown-mcp
npm install
{
  "mcpServers": {
    "urltomarkdown": {
      "command": "node",
      "args": ["/path/to/urltomarkdown-mcp/src/index.js"]
    }
  }
}

将配置放在哪里

客户端 配置文件
克劳德桌面 ~/Library/Application Support/Claude/claude_desktop_config.json (macOS)或 %APPDATA%\Claude\claude_desktop_config.json (Windows)
克劳德代码 ~/.claude/settings.local.json 或项目 .mcp.json
光标 .cursor/mcp.json 在项目根目录中
风帆冲浪 ~/.codeium/windsurf/mcp_config.json

运作原理

此服务器包装 url标记 图书馆并将其公开 模型上下文协议 通过stdio传输。在引擎盖下,它使用:

  • 关闭 用于HTML到Markdown的转换
  • Mozilla的 可读性 用于内容提取和噪声去除
  • JSDOM 用于DOM解析

Readability在转换之前传递导航条、侧边栏、广告和其他非内容元素,产生适合LLM消费的干净输出。

测试

npm test

许可证

麻省理工学院


SapienEx 的 --人工智能战略与咨询