AI导哈

网页内容抓取与保存工具

一个模型上下文协议服务器，提供网页内容抓取和本地文件保存功能，使LLMs能够从网页检索内容，将HTML转换为Markdown以便于使用，并将检索到的内容保存到本地文件。

  • by gregberns
  • Python
  • 本地部署
  • 2 星标
  • 更新于
在 GitHub 查看 gregberns/mcp-server-fetch-save

使用说明

获取保存MCP服务器

提供web内容获取和本地文件保存功能的模型上下文协议服务器。此服务器使LLM能够从网页中检索内容，将HTML转换为markdown以便于使用，并将检索到的内容保存到本地文件。

与标准获取MCP服务器的关键区别在于，该服务器提供 获取保存 该工具既检索内容，又将其本地存储在永久文件中，允许以后访问或处理数据。

[！小心] 此服务器可以访问本地/内部IP地址，可能存在安全风险。使用此MCP服务器时请小心，以确保不会暴露任何敏感数据。

附加说明：自述和一些代码是用克劳德代码编写/编辑的，因此部分内容可能不正确。如果需要更改，请提交PR。

可用工具

  • fetch-save -从互联网获取URL，将其内容提取为markdown，并将其保存到本地文件。
    • url （字符串，必填）：获取和下载的URL
    • filepath （string，必填）：保存下载内容的本地文件路径

提示

  • 获取保存
    • 获取URL并将其内容保存到本地文件
    • 论据：
      • url （字符串，必填）：获取和下载的URL
      • filepath （string，必填）：保存内容的本地文件路径

安装

可选：安装node.js，这将导致获取服务器使用更健壮的不同HTML简化器。

使用紫外线（推荐）

使用时 uv 不需要特定的安装。我们将 使用 uvx 直接运行 mcp服务器获取保存.

使用PIP

或者，您可以安装 mcp-server-fetch-save 通过pip：

pip install mcp-server-fetch-save

安装后，您可以使用以下命令将其作为脚本运行：

python -m mcp_server_fetch_save

配置

为Claude.app进行配置

添加到您的Claude设置中：

Using uvx 
"mcpServers": {
  "fetch-save": {
    "command": "uvx",
    "args": ["mcp-server-fetch-save"]
  }
}
Using pip installation 
"mcpServers": {
  "fetch-save": {
    "command": "python",
    "args": ["-m", "mcp_server_fetch_save"]
  }
}

配置VS代码

对于手动安装，请将以下JSON块添加到VS Code中的用户设置（JSON）文件中。您可以按 Ctrl + Shift + P 和打字 Preferences: Open User Settings (JSON).

您可以选择将其添加到名为的文件中 .vscode/mcp.json 在您的工作空间中。这将允许您与他人共享配置。

请注意 mcp 使用时需要密钥 mcp.json 文件。

Using uvx 
{
  "mcp": {
    "servers": {
      "fetch-save": {
        "command": "uvx",
        "args": ["mcp-server-fetch-save"]
      }
    }
  }
}

定制-robots.txt

默认情况下，如果请求来自模型（通过工具），服务器将服从网站robots.txt文件，但如果 该请求是由用户发起的（通过提示）。可以通过添加参数来禁用此功能 --ignore-robots-txt 到 args 配置中的列表。

定制-用户代理

默认情况下，根据请求是来自模型（通过工具）还是由用户发起（通过提示） 服务器将使用用户代理

ModelContextProtocol/1.0 (Autonomous; +https://github.com/modelcontextprotocol/servers)

或

ModelContextProtocol/1.0 (User-Specified; +https://github.com/modelcontextprotocol/servers)

这可以通过添加参数进行自定义 --user-agent=YourUserAgent 到 args 配置中的列表。

自定义-代理

可以使用以下命令将服务器配置为使用代理 --proxy-url 争论。

调试

您可以下载此仓库，并将其添加到您的 .mcp.json 本地运行/测试的文件。

{
  "mcpServers": {
    "fetch_save": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/clone/of/project/mcp-server-fetch-save/src/mcp_server_fetch_save",
        "run",
        "__main__.py"
      ]
    }
  }
}

您可以使用MCP检查器调试服务器。对于uvx安装：

npx @modelcontextprotocol/inspector uvx mcp-server-fetch-save

或者，如果您已将软件包安装在特定目录中或正在其上开发：

cd path/to/mcp-server-fetch-save
npx @modelcontextprotocol/inspector uv run mcp-server-fetch-save

贡献

我们鼓励捐款以帮助扩展和改进mcp服务器的fetch-save。无论您是想添加新工具、增强现有功能还是改进文档，您的意见都是有价值的。

有关其他MCP服务器和实现模式的示例，请参阅： https://github.com/modelcontextprotocol/servers

欢迎拉取请求！欢迎贡献新想法、错误修复或增强功能，使mcp服务器fetch-save更加强大和有用。

许可证

mcp服务器的fetch-save是根据MIT许可证授权的。这意味着您可以根据MIT许可证的条款和条件自由使用、修改和分发软件。有关更多详细信息，请参阅项目存储库中的LICENSE文件。

谢谢

此服务器是基于原始 模型上下文协议/服务器 fetch服务器，具有将内容保存到本地文件的附加功能。

相关 MCP