AI导哈

网页抓取与搜索服务

MCP (Model Context Protocol) 服务器，提供网页抓取、搜索和爬取功能，适用于数据提取和内容收集。

  • by Octivas
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 Octivas/octivas-mcp-server

使用说明

@八角形/MCP

MCP（模型上下文协议）服务器，用于网络抓取、搜索和爬行，由 八角形的.

快速开始

带光标

添加到您的 .cursor/mcp.json:

{
  "mcpServers": {
    "octivas": {
      "command": "npx",
      "args": ["-y", "@octivas/mcp@latest"],
      "env": {
        "OCTIVAS_API_KEY": "your-api-key"
      }
    }
  }
}

使用克劳德桌面

添加到您的 claude_desktop_config.json:

{
  "mcpServers": {
    "octivas": {
      "command": "npx",
      "args": ["-y", "@octivas/mcp@latest"],
      "env": {
        "OCTIVAS_API_KEY": "your-api-key"
      }
    }
  }
}

获取API密钥： octivas.com/app/api-keys.

工具

scrape

从单个网页中提取内容。默认情况下返回markdown，并可通过JSON Schema或自然语言提示进行可选的结构化数据提取。

参数：

名称 类型 必填 描述
url string 是 要抓取的页面的URL
formats string[] 否 输出格式： markdown, html, rawHtml, screenshot, links, json, images, summary （默认值： ["markdown"])
only_main_content boolean 否 条形导航、页眉、页脚和侧边栏
schema object 否 用于结构化数据提取的JSON模式
prompt string 否 自然语言提取说明（例如，“提取产品名称和价格”）

search

搜索网络并从结果中提取整页内容。

参数：

名称 类型 必填 描述
query string 是 搜索查询（最多500个字符）
limit number 否 结果数（默认值：5，最大值：20）
formats string[] 否 每个结果的内容格式（默认值： ["markdown"])
country string 否 地理目标结果的ISO 3166-1 alpha-2国家代码（例如。， US, GB)
tbs string 否 时间筛选器： qdr:h （小时）， qdr:d （天）， qdr:w （周）， qdr:m （月）， qdr:y （年）
only_main_content boolean 否 从提取的内容中删除样板

crawl

从URL开始抓取网站，并从多个页面中提取内容。可用于为文档网站建立索引或跨域收集内容。

参数：

名称 类型 必填 描述
url string 是 要爬网的起始URL
limit number 否 要爬网的最大页面数（默认值：10，最大值：100）
formats string[] 否 每页的内容格式（默认值： ["markdown"])
max_depth number 否 起始URL的最大链接深度（0=仅起始页）
include_paths string[] 否 要包含的路径的正则表达式模式（例如。， ["/docs/.*"])
exclude_paths string[] 否 要排除的路径的正则表达式模式（例如。， ["/admin/.*"])
allow_subdomains boolean 否 跟踪指向起始URL子域的链接
only_main_content boolean 否 从提取的内容中删除样板

环境变量

变量 必填 描述
OCTIVAS_API_KEY 是 您的Octivas API密钥（在 octivas.com/app/设置)
OCTIVAS_BASE_URL 否 覆盖API基础URL

发展

npm install
npm run build
npm run dev    # rebuild on changes

许可证

麻省理工学院

相关 MCP