AI导哈

通用爬虫服务

MCP服务器，将Futurepedia爬取逻辑作为工具暴露给助手使用，用于获取随机AI工具信息及通用网页爬取。

  • by litvan007
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 litvan007/mcp-universal-crawler

使用说明

mcp通用爬虫

MCP服务器，将Futuremedia爬行逻辑作为助手的工具公开。

它的作用

  • 从Futurepedia搜索API获取随机人工智能工具
  • 打开工具详细信息页面
  • 提取结构化字段（描述、是什么、关键特征、优缺点、用户、图像）
  • 返回干净的JSON供下游助手使用

MCP工具

未来媒体特定：

  • futurepedia_random_tool() --获取一个带有解析元数据的随机工具
  • futurepedia_tools(count=3) --在一次调用中获取多个随机工具

通用爬虫：

  • crawl_url(url, timeout_sec=30) --解析通用网页（文本+标题+链接）
  • crawl_many(urls, timeout_sec=30) --批量抓取最多20个URL
  • crawl_sitemap(sitemap_url, limit=20, timeout_sec=30) --从sitemap.xml中提取URL
  • crawl_file(source, timeout_sec=30) --解析本地/远程txt/md/html/pdf/docx
  • extract_structured(url, schema_json, timeout_sec=30) --按模式提取CSS选择器

快速开始

python -m venv .venv
source .venv/bin/activate
pip install -e .
python -m universal_crawler_mcp.server

服务器通过stdio（默认MCP模式）运行。

克劳德桌面/MCP客户端配置

{
  "mcpServers": {
    "universal-crawler": {
      "command": "python",
      "args": ["-m", "universal_crawler_mcp.server"],
      "cwd": "/absolute/path/to/mcp-universal-crawler"
    }
  }
}

环境

可选：

  • PROXY_URL --用于HTTP请求的代理URL

备注

爬虫逻辑改编自 litvan007/AI-slop-tg (src/futurepedia.py)并包装以供MCP使用。

相关 MCP