AI导哈

网页抓取工具

一款基于Google Chrome无头API的网页抓取工具，支持从Go语言或作为MCP服务器调用，适用于AI/LLM代理的数据采集。

  • by lmorg
  • Go
  • 本地部署
  • 3 星标
  • 更新于
在 GitHub 查看 lmorg/mcp-web-scraper

使用说明

mcp刮网机

此软件包使用Google Chrome的无头API为AI/LLM代理抓取网页。

因为它使用Chrome作为默认用户代理，所以任何需要Javascript的网站（例如单页应用程序）也应该可以使用此工具进行解析。

它支持从Go（Go-lang）通过以下方式调用 LangChainGo，或作为MCP服务器。

MCP服务器

首先使用以下命令编译代码 go:

go build .

克劳德桌面

{
  "mcpServers": {
    "mcp-web-scraper": {
      "command": "/path/to/mcp-web-scraper",
      "args": []
    }
  }
}

Visual Studio Code

{
  "mcp": {
    "servers": {
      "mcp-web-scraper": {
        "command": "/path/to/mcp-web-scraper",
        "args": []
      }
    }
  }
}

LangChainGo工具

集成到langchain很容易：

import 	"github.com/lmorg/mcp-web-scraper/langchain"

func example() {
    scraper := langchain.NewScraper()
}

请咨询 langchaingo文档 了解如何将工具与他们的库一起使用。

回退模式

如果未安装谷歌Chrome浏览器

如果你没有安装谷歌Chrome浏览器，那么mcp web scraper将回退到使用Go的HTTP用户代理。

这在大多数情况下都是可行的，但是您可能无法获得需要Javascript渲染的网站的任何内容。

Markdown支持

默认情况下，此模块将查找 <article> 并将其转换为Markdown。

如果页面本身不是某种描述的文章（例如不是博客、技术文档等），则此模块将回退到返回HTML。

返回的任何HTML文档都将删除特定的HTML标签（例如 <script>, <svg>，和HTML注释），以减少LLM解析所需的令牌

相关 MCP