爬虫服务器

mcp服务器蜘蛛：一个蜘蛛mcp服务器

概述

用于蜘蛛爬虫交互和自动化的模型上下文协议服务器。此服务器提供抓取和抓取网页的工具。

请注意，mcp服务器蜘蛛目前处于早期开发阶段。将来可能会添加错误和功能。

工具

1. crawl
   • 抓取给定的网址并返回找到的网址列表
   • 输入：
     • url：要抓取的url
     • headers：随爬网请求传递的其他标头
     • user_agent：用于爬网请求的用户代理
     • depth：链接遍历的深度
     • blacklist：用于将爬网过程中的URL列入黑名单的正则表达式列表
     • whitelist：从爬网过程到白名单URL的正则表达式列表
     • respect_robots_txt：是否尊重 robots.txt 文件
     • accept_invalid_certs：是否接受无效证书
   • 返回：找到的URL列表
2. scrape
   • 抓取给定的url并返回一个JSON对象列表，其中包含所发现的每个页面的url、链接和内容
   • 输入：与 crawl
   • 返回：JSON对象列表（字符串形式），其中包含所发现的每个页面的url、链接和内容

安装

使用紫外线（推荐）

使用时 uv 不需要特定的安装。我们将 使用 uvx 直接运行 mcp服务器蜘蛛.

使用PIP

或者，您可以安装 mcp-server-spider 通过pip：

pip install mcp-server-spider

安装后，您可以使用以下命令将其作为脚本运行：

python -m mcp_server_spider