AI导哈

文档爬虫服务器

rock-mcp是一款本地运行的文档爬虫和索引服务器，允许用户共享链接、爬取和索引网站内容，供MCP兼容的AI进行搜索、阅读和扩展。

  • by sethwebster
  • JavaScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 sethwebster/rock-mcp

使用说明

摇滚mcp

文档爬虫MCP服务器。分享链接→ 网站被抓取并编入索引→ 任何兼容MCP的AI都可以搜索、读取和扩展它。

没有API密钥。没有云。在本地运行，将所有内容存储在SQLite中。

运作原理

  1. 共享文档URL(add_docs_url)
  2. rock mcp在后台抓取并索引它
  3. 询问你的人工智能——它会根据需要搜索、阅读页面并扩展主题

工具

工具 说明
search_web 通过DuckDuckGo搜索网络——当你还没有网址时，可以找到网址
add_docs_url 抓取并索引URL（异步，立即调用然后搜索）
search_docs 在所有索引文档中进行全文搜索
get_page 获取一个特定的页面，分块。按名称跳转到一个部分。
expand_topic 查找涵盖某一主题的所有页面
list_sources 列出具有爬网状态和过时性的索引源
recrawl_source 重新抓取源以获取更新
get_crawl_status 检查URL的爬网进度
delete_source 删除源及其所有页面

安装

先决条件

  • Node.js 18+
  • Git
git clone https://github.com/sethwebster/rock-mcp
cd rock-mcp
npm install && npm run build

请注意完整路径 dist/server.js --你需要它在下面。

克劳德代码（CLI）

claude mcp add --scope user rock-mcp node /path/to/rock-mcp/dist/server.js

运行此程序后重新启动Claude Code。通过以下方式进行验证：

claude mcp list

克劳德桌面版

添加 ~/Library/Application Support/Claude/claude_desktop_config.json （macOS）或 %APPDATA%\Claude\claude_desktop_config.json （Windows）：

{
  "mcpServers": {
    "rock-mcp": {
      "command": "node",
      "args": ["/path/to/rock-mcp/dist/server.js"]
    }
  }
}

重新启动克劳德桌面。

光标

添加 .cursor/mcp.json 在项目根目录中，或 ~/.cursor/mcp.json 全球地：

{
  "mcpServers": {
    "rock-mcp": {
      "command": "node",
      "args": ["/path/to/rock-mcp/dist/server.js"]
    }
  }
}

重新启动游标。

帆板运动

添加 ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "rock-mcp": {
      "command": "node",
      "args": ["/path/to/rock-mcp/dist/server.js"]
    }
  }
}

重新启动Windsurf。

Codex（OpenAI CLI）

添加 ~/.codex/config.yaml （或你的项目 codex.yaml):

mcp_servers:
  - name: rock-mcp
    command: node
    args:
      - /path/to/rock-mcp/dist/server.js

Cline（VS代码扩展）

打开VS代码设置，搜索 临床MCP，并添加：

{
  "rock-mcp": {
    "command": "node",
    "args": ["/path/to/rock-mcp/dist/server.js"]
  }
}

或编辑 settings.json 直接下 cline.mcpServers 钥匙。

Continue.dev

添加 ~/.continue/config.json 在...之下 mcpServers:

{
  "mcpServers": [
    {
      "name": "rock-mcp",
      "command": "node",
      "args": ["/path/to/rock-mcp/dist/server.js"]
    }
  ]
}

反重力

在代理面板中，单击 ... → 管理MCP服务器 → 查看原始配置 打开 mcp_config.json。添加您的服务器：

{
  "mcpServers": {
    "rock-mcp": {
      "command": "node",
      "args": ["/path/to/rock-mcp/dist/server.js"]
    }
  }
}

保存文件并重新启动Antigravity（或重新加载窗口）。

Firebase工作室（项目IDX）

添加 .idx/mcp.json 在您的工作区根目录中（如果不存在，请创建它）：

{
  "mcpServers": {
    "rock-mcp": {
      "command": "node",
      "args": ["/path/to/rock-mcp/dist/server.js"]
    }
  }
}

对于Firebase Studio中的Gemini CLI，请添加到 .gemini/settings.json 相反。

泽德

添加 ~/.config/zed/settings.json 在...之下 context_servers:

{
  "context_servers": {
    "rock-mcp": {
      "command": {
        "path": "node",
        "args": ["/path/to/rock-mcp/dist/server.js"]
      }
    }
  }
}

任何兼容MCP的客户端

rock mcp是一个标准的mcp stdio服务器。二进制是 node /path/to/rock-mcp/dist/server.js。如果您的客户支持MCP，请指向此处。

存储

所有数据都存在于 ~/.rock-mcp/docs.db （SQLite，WAL模式）。删除它以重置所有内容。

爬网默认值

  • 深度：距根URL 2跳
  • 最大页数：每个来源50页
  • 并发：一次5页，批之间200毫秒
  • 仅索引 text/html --跳过PDF、纯文本、JSON等。
  • 重定向重复数据删除：遵循重定向并存储在规范URL下

许可证

麻省理工学院

相关 MCP