网页内容抓取工具

Page Fetcher MCP是一款通过真实Chromium浏览器抓取网页HTML或文本内容的服务器工具,支持处理动态内容和清理输出。

  • by diaorui
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 diaorui/page-fetcher-mcp

使用说明

页面获取器MCP

MCP服务器,使用真正的Chromium浏览器从任何URL获取HTML或文本内容

特性

  • 真实浏览器 -执行JavaScript并处理动态内容(通过Chrome DevTools协议)
  • 2工具 - fetch_html 和 fetch_text
  • 清洁输出 -自动删除脚本、样式和噪波

快速开始

npm install
npm run build

添加到您的Claude Code MCP配置中:

{
  "mcpServers": {
    "page-fetcher-mcp": {
      "command": "node",
      "args": ["/path/to/page-fetcher-mcp/dist/cli.js"]
    }
  }
}

工具

工具 说明
fetch_html(url, maxLength?) 从URL获取修剪的HTML
fetch_text(url, maxLength?) 从URL获取可见文本

配置

创建 .env (可选):

CHROMIUM_PATH=/usr/bin/chromium-browser
CDP_PORT=9222
HEADLESS=true
USE_DEFAULT_PROFILE=false
PAGE_LOAD_TIMEOUT=10000

或者连接到现有浏览器:

chrome --remote-debugging-port=9222