AI导哈

网站内容提取工具

Decodo Website Scraper是一个基于MCP协议的网站内容提取工具，可通过Decodo API从网页的特定HTML元素中提取文本内容，适用于数据采集和分析场景。

  • by abdullahtarek
  • Python
  • 本地部署
  • 3 星标
  • 更新于
在 GitHub 查看 abdullahtarek/mcp_webscrapper

使用说明

🕷️ Decodo网站抓取器

一种模型上下文协议（MCP）服务器，使用Decode-crapping API提供网站抓取功能。此工具允许您从网页上的特定HTML元素中提取文本内容。

✨ 特性

  • 🌐 网站抓取：使用Decodeo API抓取任何可公开访问的网站
  • 🎯 目标内容提取：从HTML页面提取文本
  • 🔌 MCP集成：作为MCP服务器构建，可与AI助手无缝集成

📦 安装

  1. 从本网站下载Claude Desktop并登录。
https://claude.ai/download

  1. 创建Decodeo帐户并获取您的API密钥：
    在Decodo上申请免费试用：https://visit.decodo.com/aOL4yR

  2. 克隆此存储库：

git clone https://github.com/abdullahtarek/mcp_webscrapper
cd decodo-webscrapper

  1. 将main.py顶部的API密钥替换为Decodeo API密钥。

  2. 安装uv和依赖项：

pip install uv

uv add "requests"
uv add "beautifulsoup4"
  1. 运行MCP服务器并将其连接到Claude Desktop：

运行此命令

uv run mcp install main.py

然后运行此命令

uv run mcp install -e. main.py

🚀 用法

安装并连接到Claude Desktop后，您可以通过要求Claude抓取网站来使用抓取器。该工具将使用Decodeo API从指定的HTML元素中提取内容。

⚙️ 需求

  • Python 3.8+
  • uv包管理器
  • 解码API密钥
  • 克劳德桌面

🤝 贡献

欢迎投稿！请随时提交拉取请求。

📄 许可证

该项目是开源的，可在 MIT许可证.

相关 MCP