网页抓取工具

Scraper.is MCP

A. 模型上下文协议（MCP） 整合 Scraper.is -AI助手的强大网络抓取工具。

该软件包允许AI助手通过MCP协议抓取网络内容，使他们能够从网络上访问最新信息。

特性

• 🌐 Web剪贴：从任何网站提取内容
• 📸 截图：捕获网页的视觉表示
• 📄 多种格式：获取markdown、HTML或JSON格式的内容
• 🔄 进度更新：刮擦操作期间的实时进度报告
• 🔌 MCP集成：与MCP兼容的AI助手无缝集成

安装

通过Smithery安装

通过以下方式自动安装用于Claude Desktop的scaperis-mcp 史密瑟里:

npx -y @smithery/cli install @Ai-Quill/scaperis-mcp --client claude

手动安装

npm install -g scraperis-mcp

或者用纱线：

yarn global add scraperis-mcp

先决条件

您需要一个Scraper.is API密钥才能使用此软件包。

获取API密钥

1. 注册或登录 scraper.is
2. 导航到仪表板中的API键部分： https://www.scraper.is/dashboard/apikeys
3. 创建新的API密钥或复制现有密钥
4. 安全地存储此密钥，因为您需要它来使用此软件包

用法

环境设置

创建一个 .env 使用Scraper.is API密钥的文件：

SCRAPERIS_API_KEY=your_api_key_here

Claude桌面集成

要将此软件包与Claude Desktop一起使用：

1. 全局安装软件包：

   复制

   npm install -g scraperis-mcp
   

2. 将以下配置添加到您的 claude_desktop_config.json 文件：

   复制

   {
     "mcpServers": {
       "scraperis_scraper": {
         "command": "scraperis-mcp",
         "args": [],
         "env": {
           "SCRAPERIS_API_KEY": "your-api-key-here",
           "DEBUG": "*"
         }
       }
     }
   }
   

3. 替换 your-api-key-here 使用您的实际Scraper.is API密钥。

4. 重新启动Claude Desktop以应用更改。

使用MCP检查器运行

对于开发和测试，您可以使用MCP检查器：

npx @modelcontextprotocol/inspector scraperis-mcp

与AI助手集成

该软件包旨在与支持模型上下文协议（MCP）的AI助手一起使用。如果配置正确，AI助手可以使用以下工具：

报废工具

这 scrape 该工具允许人工智能从网站中提取内容。它支持多种格式：

• markdown：以markdown格式返回内容
• html：以HTML格式返回内容
• screenshot：返回网页的屏幕截图
• json：返回JSON格式的结构化数据

AI提示示例：

Can you scrape the latest news from techcrunch.com and summarize it for me?

API 参考

工具

刮擦

根据提示从网页中抓取内容。

参数：

• prompt （string）：描述要抓取的内容的提示，包括URL
• format （string）：返回内容的格式(markdown, html, screenshot, json, quick)

例子：

{
  "prompt": "Get me the top 10 products from producthunt.com",
  "format": "markdown"
}

发展

设置

1. 克隆存储库：

   复制

   git clone https://github.com/Ai-Quill/scraperis-mcp.git
   cd scraperis-mcp
   

2. 安装依赖项：

   复制

   npm install
   

3. 构建项目：

   复制

   npm run build
   

脚本

• npm run build：构建项目
• npm run watch：观察变化并重建
• npm run dev：使用MCP Inspector进行开发
• npm run test：运行测试
• npm run lint：运行ESLint

贡献

欢迎投稿！请随时提交拉取请求。

许可证

此项目根据MIT许可证获得许可-有关详细信息，请参阅许可证文件。

致谢

• 模型上下文协议
• Scraper.is