AI导哈

爬虫分析服务

一个用于分析Googlebot与AI爬虫访问一致性的MCP服务器，通过Nginx访问日志和Google Search Console数据评估爬虫访问的差异性。

  • by arturseo-geo
  • JavaScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 arturseo-geo/mcp-crawl-parity

使用说明

爬行奇偶校验MCP

部分 GEO Stack研究计划 --我们发现Googlebot和AI爬虫对新域名进行独立的权威评估。

一个MCP（模型上下文协议）服务器，用于从Nginx访问日志和谷歌搜索控制台（GSC）数据中分析Googlebot与AI爬虫的奇偶校验。确定AI爬虫相对于Googlebot访问您的内容的一致性。

安装

npm install

需要Node.js 18+。

用法

启动服务器

npm start

或者直接：

node src/index.js

工具：analyze_logs

解析Nginx组合日志格式文件，并按爬虫类型对请求进行分类。

输入：

  • log_path （string，必填）：Nginx访问日志文件的路径

输出：

{
  "googlebot_requests": 1234,
  "ai_crawler_requests": 456,
  "parity_ratio": 37.0,
  "parity_level": "low_parity",
  "paths_googlebot": 89,
  "paths_ai_crawler": 42,
  "unique_paths": 120
}

工具：gsc_crossref

将日志分析结果与GSC搜索分析数据进行交叉引用。

输入：

  • logs_analysis （object，必填）：analyze_logs或类似结构的输出
  • gsc_data （数组，必填）：GSC分析记录 page, impressions, clicks, ctr, position

输出：

{
  "both": 45,
  "logs_only": 20,
  "gsc_only": 35,
  "total_analyzed": 100
}

工具：parity_report

结合日志和GSC数据生成全面的爬网奇偶校验报告。

输入：

  • log_path （string，必填）：Nginx访问日志文件的路径
  • gsc_data （数组，必填）：GSC分析记录

输出：

{
  "timestamp": "2026-03-26T14:30:00.000Z",
  "logs_analysis": { ... },
  "gsc_crossref": { ... },
  "summary": {
    "googlebot_activity": "detected",
    "ai_crawler_activity": "detected",
    "parity_status": "low_parity",
    "parity_percentage": 37.0,
    "recommendation": "Low parity - AI crawlers are significantly underrepresented"
  }
}

奇偶校验级别

级别 比率 含义
high_parity ≥80% AI爬虫访问您的内容的频率几乎与Googlebot一样高
medium_parity 40-79% 中等平价；考虑优化AI爬虫的可发现性
low_parity <40% 人工智能爬虫的代表性明显不足；查看robots.txt和可抓取性
insufficient_data N/A Googlebot请求=0；无法计算奇偶校验

机器人签名

Googlebot检测

  • Googlebot （带空格、斜线或字符串末尾）
  • Googlebot-Image
  • AdsBot-Google

AI爬虫检测

  • GPTBot （OpenAI）
  • ClaudeBot （人类学）
  • PerplexityBot （困惑）
  • YouBot （You.com）
  • Bytespider （字节跳动）
  • Google-Extended （谷歌人工智能）
  • CCBot （常见爬行）
  • PetalBot （阿里巴巴）
  • Applebot-Extended 苹果

Nginx日志格式

需要组合日志格式：

ip - - [timestamp] "METHOD /path HTTP/1.1" status bytes "referer" "user-agent"

许可证

MIT——见许可证文件

作者

Artur Ferreira/GEO实验室

一个项目由 GEO实验室 --发电发动机优化研究

相关 MCP