AI导哈

网页数据提取工具

一个基于AI的网页数据提取工具，支持通过自然语言或结构化查询从网页中提取结构化数据，并生成CSS选择器和XPath表达式。

  • by shAsh8bit
  • JavaScript
  • 本地部署
  • 2 星标
  • 更新于
在 GitHub 查看 shash8bit/constellix-ai-scraper-mcp

使用说明

@constellix/ai刮板mcp

从网页中提取结构化数据的模型上下文协议（MCP）服务器。该工具通过提供抓取网站的智能界面，弥合了LLM和网络数据提取之间的差距。

直播

尝试游乐场→ https://constellix.vercel.app/

特性

  • 人工智能驱动的数据提取：使用自然语言查询从网页中提取结构化数据
  • CSS选择器生成：根据自然语言描述为web元素生成CSS选择器
  • XPath生成：基于自然语言描述为web元素生成XPath表达式
  • 支持多种查询类型：使用自然语言或类似GraphQL的结构化查询

安装

# Install and run
npm i @constellix/ai-scraper-mcp

# Set your API key as an environment variable
GEMINI_API_KEY="your-api-key-here"

MCP配置：

{
    "mcpServers": {
        "ai-scraper":{
            "command": "npx",
            "args": [
                "-y",
                "@constellix/ai-scraper-mcp"
            ],
            "env": {
                "GEMINI_API_KEY" : "YOUR_API_KEY"
            }
        }
    }
}

然后，在您的MCP兼容客户端（Claude、Cursor等）中，您可以使用ai scraper工具从网站中提取数据。

可用工具

1.通过查询获取数据

使用自然语言或结构化查询语言从网页中提取结构化数据。

输入架构：

{
  "url": "string", // The webpage URL to extract data from
  "query": "string" // Natural language query or structured query
}

2.获取css选择器

使用自然语言或结构化查询语言为网页元素生成CSS选择器。

输入架构：

{
  "url": "string", // The webpage URL to analyze
  "query": "string" // Natural language query or structured query
}

3.获取xpath

使用自然语言或结构化查询语言为网页元素生成XPath表达式。

输入架构：

{
  "url": "string", // The webpage URL to analyze
  "query": "string" // Natural language query or structured query
}

查询类型

自然语言查询

示例：

  • “列出页面上的所有产品”
  • “查找主导航菜单”
  • “提取所有博客文章标题及其发布日期”

结构化查询（类似GraphQL）

{
  products_list[]{
    product_name,
    product_price,
    product_image
  }
}

您还可以指定数据类型或添加自然语言描述：

{
  products_list[]{
    product_name (string),
    product_price (number),
    product_image (string)
  }
}

或描述：

{
  products_list (products made out of cotton)[]{
    product_name,
    product_price,
    product_image
  }
}

依赖项

此包依赖于 @constellix/ai-scraper 该软件包提供了通过AI功能增强Playwright功能的功能。

相关 MCP