网页数据抓取API

markudown mcp

MCP服务器 MarkU自有/报废技术 --允许AI代理（Claude、Cursor、Windsurf、n8n、LangGraph等）访问网络抓取、谷歌搜索、数据提取等。

不需要基础设施。 只是一个API密钥。

运作原理

AI Agent (Claude Desktop, Cursor, etc.)
        │  MCP protocol (stdio)
        ▼
  markudown-mcp  (this package)
        │  HTTPS + polling
        ▼
  api.scrapetechnology.com
        │  BullMQ jobs
        ▼
  MarkUDown Engine workers

快速开始

MARKUDOWN_API_KEY=your-key npx markudown-mcp

获取API密钥： scrapetechnology.com.

克劳德桌面

添加 claude_desktop_config.json:

• macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
• 视窗: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "markudown": {
      "command": "npx",
      "args": ["markudown-mcp"],
      "env": {
        "MARKUDOWN_API_KEY": "your-api-key-here"
      }
    }
  }
}

保存后重新启动Claude Desktop。

光标/风帆

添加到编辑器的MCP配置中：

{
  "markudown": {
    "command": "npx",
    "args": ["markudown-mcp"],
    "env": {
      "MARKUDOWN_API_KEY": "your-api-key-here"
    }
  }
}

环境变量

可用工具

scrape

删除一个URL，并将其内容作为干净的Markdown返回。

示例提示： “刮擦https://example.com并总结了主要内容。"

map

通过站点地图解析和链接爬行发现网站上的所有网址。

示例提示： “映射docs.example.com上的所有URL。”

crawl

根据内部链接递归抓取网站。返回每个页面的Markdown。

示例提示： “爬行https://docs.example.com深入到深度3，找到所有提到“身份验证”的地方。"

search

运行谷歌搜索，并可选择抓取每个结果页面的完整内容。

示例提示： “搜索‘2025年最佳网络抓取库’，并总结前5个结果。”

extract

使用自然语言提示抓取URL并提取结构化数据。

示例提示： “从以下位置提取所有工作列表https://jobs.example.com包括职位、地点和工资。"

batch_scrape

并行删除多个URL。为每个对象返回Markdown。

示例提示： “删除这5个竞争对手的定价页面，并比较他们的计划。”

screenshot

对URL进行全屏截图。

示例提示： “截图https://example.com."

deep_research

使用LLM抓取多个URL并将其内容合成为一份全面的研究报告。

示例提示： “研究这3家SaaS公司的定价策略，并撰写比较分析。”

agent

启动一个人工智能代理，自动导航网站以回答问题或完成任务。

示例提示： 首选https://shop.example.com并找到退货政策。"

change_detection

检测URL的内容自上次检查以来是否已更改。

示例提示： “检查定价页面是否位于https://example.com/pricing已经改变了。"

自托管部署

如果您运行自己的MarkUDown引擎，请设置 MARKUDOWN_API_URL 指向您的实例：

{
  "mcpServers": {
    "markudown": {
      "command": "npx",
      "args": ["markudown-mcp"],
      "env": {
        "MARKUDOWN_API_KEY": "your-api-key",
        "MARKUDOWN_API_URL": "https://your-engine.example.com"
      }
    }
  }
}

对于直接的BullMQ访问（不需要API密钥），请使用 自托管MCP服务器 在 MarkUDown-Engine/services/mcp/.

支持与社区

许可证

麻省理工学院