AI导哈

MCP服务器数据爬取工具

一个用于从glama.ai爬取和提取MCP服务器数据的Node.js工具，适用于数据收集和分析场景。

  • by Neche-Stephen
  • JavaScript
  • 本地部署
  • 更新于
在 GitHub 查看 neche-stephen/mcp_web_scrapper

使用说明

MCP服务器刮刀入门

此项目允许您抓取和提取 MCP网络服务器 从 glama.ai。按照以下步骤高效地设置和运行刮板。

📦 先决条件

  • Node.js
  • npm

🔧 安装

  1. 克隆存储库：

    git clone https://github.com/Neche-Stephen/mcp_web_scrapper
cd mcp_web_scrapper

  2. 安装依赖项：

    npm install

🗃 检查现有数据

在进行新的刮除之前：

  1. 检查是否 servers-json 文件夹 存在.

  2. 如果它包含文件，则意味着数据之前已被抓取。

  3. 为了运行新批次， 删除 这 servers-json 文件夹：

    rm -rf servers-json

步骤1：删除MCP服务器链接

运行scraper从网站收集所有MCP服务器链接：

node scraper.js
  • scraper将启动一个无头浏览器并开始收集数据。
  • 请耐心等待，这可能需要几分钟的时间。
  • 一旦你看到消息 “关闭浏览器”，刮擦完成。
  • 然后，您可以使用以下命令安全地终止该进程 CTRL + C.

输出：一个名为的文件 server-links.json 将在文件夹中生成 servers-json 包含所有抓取的链接。

步骤2：处理和提取服务器数据

现在，从每个服务器链接获取并处理详细信息：

node process-links.js
  • 脚本读自 server-links.json 并访问每个链接以抓取必要的数据。
  • 脚本运行时，终端中将显示进度报告。
  • 当您看到指示完成的成功消息时，按 CTRL + C 以终止该过程。

所有抓取的数据都将存储在 servers-json 以mcp服务器命名的不同文件中的目录

相关 MCP