AI导哈

网页爬取集成工具

该工具集成了Firecrawl的网页爬取能力与Cursor MCP服务器，通过改进网页内容处理来增强AI辅助功能。

  • by GGEDeveloper
  • Python
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 GGEDeveloper/cursor-firecrawl-integration

使用说明

游标防火墙集成

该项目整合 萤火虫 Cursor MCP服务器的网络抓取功能，通过改进网络内容处理来增强人工智能辅助。

概述

该集成使Cursor的AI助手能够：

  • 使用Firecrawl的高级功能高效地抓取web内容
  • 将网页转换为干净、LLM就绪的markdown格式
  • 从网站中提取结构化数据
  • 以批处理模式处理多个URL
  • 处理动态web内容和JavaScript渲染页面

特性

  • 干净数据提取：将web内容转换为markdown或结构化数据
  • 批处理：同时处理多个URL
  • 自定义操作：支持复杂的网络交互
  • 结构化数据抽取：使用预定义的模式提取特定数据
  • 与Cursor MCP集成：Firecrawl和Cursor之间的无缝通信

先决条件

  • Python 3.8+
  • Node.js 16+
  • Firecrawl API密钥（从获取 firecrawl.dev)
  • 光标MCP服务器访问

安装

  1. 克隆存储库：
git clone https://github.com/GGEDeveloper/cursor-firecrawl-integration.git
cd cursor-firecrawl-integration
  1. 安装Python依赖项：
pip install -r requirements.txt
  1. 安装Node.js依赖项：
npm install
  1. 设置环境变量：
cp .env.example .env
# Edit .env with your Firecrawl API key and other configuration

项目结构

cursor-firecrawl-integration/
├── src/
│   ├── python/
│   │   ├── scraper.py
│   │   └── cursor_integration.py
│   └── node/
│       ├── server.js
│       └── api_handler.js
├── tests/
├── config/
├── examples/
└── docs/

用法

  1. 启动集成服务器：
python src/python/main.py
  1. 配置Cursor MCP以使用集成：
// Configuration example will be provided

发展

建立发展环境

  1. 创建虚拟环境：
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. 安装开发依赖项：
pip install -r requirements-dev.txt

运行测试

pytest tests/

贡献

  1. 分叉存储库
  2. 创建要素分支
  3. 提交您的更改
  4. 推到分支
  5. 创建拉取请求

许可证

此项目根据MIT许可证获得许可-请参阅 许可证 文件以获取详细信息。

致谢

  • 萤火虫 卓越的网页抓取能力
  • MCP服务器平台的Cursor团队

支持

如需支持，请：

  1. 检查 文档
  2. 在存储库中打开问题
  3. 联系维护人员

相关 MCP