AI导哈

网页内容抓取服务器

一个基于Model Context Protocol的服务器，提供网页内容抓取功能，可将HTML转换为Markdown格式以便于处理。

  • by alexyangjie
  • Python
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 alexyangjie/mcp-server-multi-fetch

使用说明

多取MCP服务器

该项目基于 获取MCP服务器 通过Anthropic。

提供web内容获取功能的模型上下文协议服务器。此服务器使LLM能够从网页中检索和处理内容，将HTML转换为markdown以便于使用。

fetch工具将截断响应，但通过使用 start_index 参数，您可以指定从哪里开始内容提取。这让模型可以分块阅读网页，直到找到所需的信息。

可用工具

  • fetch -从互联网获取URL并将其内容提取为markdown。
    • url （字符串，必填）：要获取的URL
    • max_length （整数，可选）：返回的最大字符数（默认值：50000）
    • start_index （整数，可选）：从此字符索引开始内容（默认值：0）
    • raw （boolean，可选）：获取原始内容而不进行markdown转换（默认值：false）
  • fetch_multi -同时获取多个URL并返回结果数组。输入是一个对象数组，每个对象都有：
    • url （字符串，必填）：要获取的URL
    • max_length （整数，可选）：返回的最大字符数（默认值：50000）
    • start_index （整数，可选）：从此字符索引开始内容（默认值：0）
    • raw （boolean，可选）：获取原始内容而不进行markdown转换（默认值：false）

鼓励

  • 获取
    • 获取一个URL并将其内容提取为markdown
    • 论据：
      • url （字符串，必填）：要获取的URL

安装

可选：安装node.js，这将导致获取服务器使用更健壮的不同HTML简化器。

使用紫外线（推荐）

使用时 uv 不需要特定的安装。我们将 使用 uvx 直接运行 mcp服务器多取.

配置

为Claude.app进行配置

添加到您的Claude设置中：

Using uvx 
"mcpServers": {
  "fetch": {
    "command": "uvx",
    "args": ["mcp-server-multi-fetch"]
  }
}

定制-robots.txt

默认情况下，如果请求来自模型（通过工具），服务器将服从网站robots.txt文件，但如果 该请求是由用户发起的（通过提示）。可以通过添加参数来禁用此功能 --ignore-robots-txt 到 args 配置中的列表。

定制-用户代理

默认情况下，根据请求是来自模型（通过工具）还是由用户发起（通过提示） 服务器将使用用户代理

ModelContextProtocol/1.0 (Autonomous; +https://github.com/modelcontextprotocol/servers)

或

ModelContextProtocol/1.0 (User-Specified; +https://github.com/modelcontextprotocol/servers)

这可以通过添加参数进行自定义 --user-agent=YourUserAgent 到 args 配置中的列表。

自定义-代理

服务器通过以下方式支持HTTP（S）和SOCKS5代理 --proxy-url 争论。例如：

# HTTP proxy
mcp-server-multi-fetch --proxy-url http://192.168.1.1:8080

# SOCKS5 proxy
mcp-server-multi-fetch --proxy-url socks5://192.168.1.1:8080

在幕后，我们使用HTTPX，当HTTPX与 socks extra（此包现在默认包含它）。

调试

您可以使用MCP检查器调试服务器。对于uvx安装：

npx @modelcontextprotocol/inspector uvx mcp-server-multi-fetch

或者，如果您已将软件包安装在特定目录中或正在其上开发：

cd path/to/servers/src/fetch
npx @modelcontextprotocol/inspector uv run mcp-server-multi-fetch

许可证

mcp服务器多取是根据MIT许可证授权的。这意味着您可以根据MIT许可证的条款和条件自由使用、修改和分发软件。有关更多详细信息，请参阅项目存储库中的LICENSE文件。

相关 MCP