AI导哈

网页数据提取代理

一个结合Groq、LangGraph和Firecrawl的AI对话代理，能够从网站抓取、爬取和提取数据。

  • by SeydinaBANE
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 SeydinaBANE/Agent-MCP

使用说明

🤖 MCP代理

对话AI代理能够： 爬虫, 爬虫 和 提取数据 de网站，组合 格罗克 (openai/gpt-oss-120b），Langgraph和Firecrawl通过MCP协议。

🏗️ 建筑

Vous (terminal)
    │
    ▼
Agent ReAct (Groq openai/gpt-oss-120b + LangGraph)
    │  si scraping nécessaire
    ▼
Client MCP ──stdio──► Serveur firecrawl-mcp (npx)
                            │
                            ▼
                       API Firecrawl (cloud)
                            │
                    ◄───────┘
Agent formule la réponse
    │
    ▼
Vous (terminal)
组件 角色
主控程序 代理通信协议↔ 工具
火爬 web去抓取/爬行服务
LangGraph重新激活 代理决策和协调逻辑
Groq+openai/gpt-oss-120b 推理模型（通过GROQ进行超快速推理）
标准 通信进程间通道

📋 先决条件

  • python 3.10+
  • Node.js 18+ （倾倒 npx)
  • 一个帐户 火爬 （API公司）
  • 一个帐户 格罗克 （API公司）

🚀 安装

1.克隆存储库

git https://github.com/SeydinaBANE/Agent-MCP.git
cd Agent-MCP

2.创建虚拟环境

python -m venv venv
source venv/bin/activate  # Windows : venv\Scripts\activate

3.安装Python依赖项

pip install -r requirements.txt

4.配置环境变量

创建文件 .env 在项目的根源：

GROQ_API_KEY=gsk_...
FIRECRAWL_API_KEY=fc-...

▶️ 使用

python main.py

代理启动，显示可用工具并等待您的问题：

Available Tools - scrape_url crawl_url extract_data ...
------------------------------------------------------------

You: Scrape le contenu principal de https://example.com
Agent: Voici le contenu extrait de la page...

You: quit
Goodbye

🛠️ 依赖性

mcp
langchain-mcp-adapters
langgraph
langchain-groq
python-dotenv

FireCrawl MCP服务器通过以下方式自动启动： npx firecrawl-mcp -无需手动安装。

📁 项目结构

Agent-MCP/
├── main.py          # Point d'entrée principal
├── .env             # Variables d'environnement (non versionné)
├── .env.example     # Exemple de configuration
├── requirements.txt # Dépendances Python
└── README.md

📄 许可证

麻省理工学院

相关 MCP