Common Crawl数据分析服务

mcp常见爬行

建造于 阿图尔·费雷拉 @ GEO实验室 · 𝕏 @TheGEO_Lab · 领英 · 红迪

用于Common Crawl CDX的MCP服务器——反向链接发现、过期域名查找器、竞争对手差距分析。Ahrefs/Semrush反向链接API的免费替代品（每月100美元以上）。

工具

特性

✅ 生产测试 --生产中使用的图案 GEOLab

安装

# Claude Code
claude mcp add common-crawl -- npx mcp-common-crawl

# Or in .mcp.json
{
  "mcpServers": {
    "common-crawl": {
      "command": "npx",
      "args": ["mcp-common-crawl"]
    }
  }
}

不需要API密钥

Common Crawl是一个免费的开放式网络存档。没有API密钥，没有费率限制，没有付费等级。

用法

> find backlinks to thegeolab.net using Common Crawl
> search for expired domains in the "seo tools" niche
> check if example.com is expired or parked
> find link gap between my site and competitors

重要说明

• 使用本地 fetch() 对于CC CDX（axios在CC CDX上返回404——已知问题）
• 查询3个最新的CC索引以获得最佳覆盖率
• 过期域检测：ECONNREFUSED/ENOTFUND=已过期，已停放域的停放页面模式匹配

归属与许可

由以下人员建造和维护 阿图尔·费雷拉 @ GEOLab.

电子邮件：artur@thegeolab.net

最佳实践归因

此MCP服务器是按照开源最佳实践方法构建的-- 阅读社区工作以获得灵感，然后写原创内容， 并归功于每一个来源。

基于：

• 模型上下文协议规范 通过Anthropic
• MCP-SDK （MIT）

数据来源：

• 通用爬虫 --免费、开放的网络档案（非营利）
• 公共爬网CDX API --索引搜索端点

反向链接分析概念的灵感来自：

• 阿雷夫斯 --反向链接发现和竞争对手差距方法
• Semrush --反向链接分析和域比较
• 雄伟 --历史反向链接指数概念

技术决策：

• 本土的 fetch() 用于CC CDX查询而不是axios（axios从Express内部在CC CDX上返回404——geolab反向链接中记录的持久调试问题）

所有服务器代码都是原创的。没有从任何来源复制或改编文件。MIT许可证。

觉得这个有用吗？ ⭐ 标记回购并连接： 🌐 thegeolab.net · 𝕏 @TheGEO_Lab · 领英 · 红迪

相关转载

• 克劳德码mcps --一个集合中的所有5台MCP服务器
• mcp seo审核员 --页面SEO审计+JSON-LD验证
• mcp serp英特尔 --SERP弱点、PAA树、意图比较
• mcp常见爬行 --通过Common Crawl免费发现反向链接
• mcp-gsc高级 --GSC蚕食、排名变化
• mcp wordpress设置 --WordPress MCP服务器设置指南

许可证

麻省理工学院——见许可证

由以下人员建造和维护 阿图尔·费雷拉 @ GEOLab · MIT许可证