开源情报网络MCP

一个基于本地优先的开源情报中心,为AI助手提供实时网络研究和调查性OSINT功能。

  • by Johnz86
  • JavaScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 Johnz86/osint-web-mcp

使用说明

🌐 OSINT Web MCP

The Open-Source Intelligence Hub for AI Assistants
A 100% free, local-first MCP server for real-time web research and investigative OSINT

Features • Quick Start • Tools • Config • Architecture


🌟 概述

OSINT Web MCP 是对原始服务器的彻底改造,现在已转变为社区驱动的开源引擎。它消除了对付费API和商业代理的所有依赖,将高性能的网络抓取和调查情报直接带到您的本地机器上。

通过利用管理 本地隐形浏览器 (Playwright+Stealth插件),它允许您的AI助手浏览网页,绕过常见的机器人检测,并从数十个平台免费提取干净、结构化的数据。


✨ 特性

🛡️ 隐私与自由

  • API密钥为零:不需要商业API密钥。
  • 100%本地:所有浏览器执行和数据处理都发生在您的计算机上。
  • 默认隐身:自动用户代理轮换和指纹随机化,以保持畅通。

🔍 OSINT调查套房

  • 领域情报:实时WHOIS和DNS(A、MX、TXT、NS)查找。
  • 身份搜索:跨平台用户名查找(GitHub、Twitter、Instagram、Reddit、YouTube)。
  • 网络分析:任何IP地址的地理位置和ISP信息。

🍱 Omakase刮刀(经过精心策划和整合)

  • 搜索:谷歌、DuckDuckGo、维基百科、StackOverflow。
  • 商业:亚马逊、eBay、Craigslist。
  • 专业的LinkedIn Jobs,确实如此。
  • 社交与科技:Reddit、推特(X)、黑客新闻、YouTube、谷歌新闻。
  • 金融:实时雅虎财经报价。

⚡ 快速开始

1.先决条件

2.安装

git clone https://github.com/Johnz86/osint-web-mcp.git
cd osint-web-mcp
npm install
npx playwright install chromium

3.在Claude Desktop中设置

将以下内容添加到您的 claude_desktop_config.json:

{
  "mcpServers": {
    "OSINT-Web": {
      "command": "node",
      "args": ["/path/to/osint-web-mcp/src/server.js"],
      "env": {
        "HEADLESS": "true"
      }
    }
  }
}

🔧 可用工具

🌐 网络和搜索

  • osint_search_google:结构化的谷歌搜索结果。
  • osint_search_duckduckgo:以隐私为重点的搜索结果。
  • osint_scrape:将任何URL深度抓取到AI优化的Markdown中。

🕵️ 调查性的

  • osint_whois:域名注册详细信息。
  • osint_dns:多记录DNS查找。
  • osint_ip_info:IP地理位置和网络信息。
  • osint_user_lookup:在5个以上主要平台上查找用户名。

📊 专用刮刀

  • osint_amazon_search:带有价格和评级的产品列表。
  • osint_linkedin_jobs_search:无需登录即可实时发布职位信息。
  • osint_yahoo_finance_quote:实时股票数据和表现。
  • …还有更多(GitHub、Reddit、eBay、Craigslist等)。

🖱️ 浏览器自动化

  • browser_navigate:使用隐形浏览器访问任何URL。
  • browser_snapshot:获取用于元素定位的ARIA可访问性树。
  • browser_click / browser_type:通过ref或name与元素交互。
  • browser_screenshot:为AI捕捉视觉状态。

⚙️ 配置

变量 描述 默认值
HEADLESS 在没有GUI的情况下运行浏览器 true
USER_AGENT 自定义用户代理字符串 现代Chrome(Windows)
RATE_LIMIT 本地速率限制(例如。, 50/1h) 无限制

🏗️ 建筑

跟随 吻,干燥,坚实 原则:

  • src/local_browser.js:为启用隐形功能的Playwright实例管理单例。
  • src/scraper_engine.js:一个功能强大、配置驱动的结构化提取引擎。
  • src/constants.js:零魔术弦。所有CSS选择器和URL都是集中式的。
  • src/server.js:一个干净的“Omakase”注册表,将工具组装成一个有凝聚力的系统。