网页抓取代理

一个基于N8N和MCP服务器的AI网页抓取代理,能够接收聊天消息,通过抓取获取相关数据,并使用OpenAI或Claude模型智能响应。

  • by NarviAdil
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 NarviAdil/Web-Scraping-Agent-with-N8N-and-MCP-Server

使用说明

网络扫描-代理-N8N和MCP-服务器

基于N8N和MCP服务器的Web抓取代理

🤖 基于MCP服务器的n8n中的AI抓取代理

该项目演示了如何在 n8n 使用 MCP(多分量协议) 和 萤火虫代理可以接收聊天消息,通过抓取从互联网获取相关数据,并使用OpenAI或Claude模型进行智能响应。


📌 项目概述

这是构建自动驾驶系统最适合初学者和动手的教程 刮擦剂 使用以下工具和内存功能:

  • 🧠 OpenAI聊天模型
  • 🧰 MCP工具
  • 🗂️ 简单记忆
  • 🌐 Firecrawl用于网页抓取

🧠 代理工作流(聊天触发)

当收到聊天消息时,核心代理会被触发。它包括:

  • 聊天模型:使用OpenAI(通过OpenRouter)
  • 记忆:使用简单内存维护上下文
  • 工具:连接到与抓取服务器通信的MCP客户端

🔧 代理设置


🖥️ MCP服务器工作流(报废处理程序)

这是实际的抓取后端,它接收代理的请求,使用Firecrawl执行抓取,并将结构化结果发送回。

🌐 MCP服务器设置


🧩 使用的组件

组件 目的
Agent (Tools Agent) 协调人工智能、内存和废料
OpenAI Chat Model 理解并回应用户查询
Simple Memory 存储以前的消息/内存上下文
MCP Client 将任务转发到MCP服务器
MCP Server Trigger 启动抓取后端
Scrape 工具 使用Firecrawl提取网页数据

📚 你将学到什么

  • 如何在n8n中创建和协调多个AI代理
  • 将OpenAI模型与实时工具连接起来
  • 在n8n内部设置MCP服务器
  • 使用Firecrawl进行道德抓取
  • 将代理作为工具模式用于模块化AI

⚙️ 使用的技术