网站下载工具

一个使用wget下载整个网站并保留网站结构的MCP服务器工具。

  • by pskill9
  • JavaScript
  • 本地部署
  • 157 星标
  • 更新于
在 GitHub 查看 pskill9/website-downloader

使用说明

网站下载器MCP服务器

此MCP服务器提供了一个使用wget下载整个网站的工具。它保留了网站结构,并将链接转换为本地工作。

先决条件

服务器需要 wget 安装在您的系统上。

安装wget

macOS

使用Homebrew:

brew install wget

Linux(Debian/Ubuntu)

sudo apt-get update
sudo apt-get install wget

Linux(红帽/Fedora)

sudo dnf install wget

视窗

  1. 使用 巧克力味:
choco install wget
  1. 或者从以下网址下载二进制文件:https://eternallybored.org/misc/wget/
    • 下载最新的wget.exe
    • 将其放置在PATH中的目录中(例如C:\Windows\System32)

用法

服务器提供了一个名为 download_website 具有以下参数:

  • url (必填):要下载的网站的URL
  • outputPath (可选):应下载网站的目录。默认为当前目录。
  • depth (可选):递归下载的最大深度级别。默认为无限。仅对指定页面设置为0,对直接链接设置为1,以此类推。

示例

{
  "url": "https://example.com",
  "outputPath": "/path/to/output",
  "depth": 2  // Optional: Download up to 2 levels deep
}

特性

网站下载器:

  • 以无限深度递归下载
  • 包括所有页面必备项(CSS、图像等)
  • 将链接转换为在本地工作
  • 为文件添加适当的扩展名
  • 将下载限制到同一域
  • 保留网站结构

安装

  1. 构建服务器:
npm install
npm run build
  1. 添加到MCP设置:
{
  "mcpServers": {
    "website-downloader": {
      "command": "node",
      "args": ["/path/to/website-downloader/build/index.js"]
    }
  }
}