二手车库存爬虫工具

奥迪西岛铲运机（Python）

该项目自动化了奥迪西岛二手车库存的日常抓取，并将其保存到Supabase数据库中。

先决条件

1. Python 3.x 安装。
2. Supabase项目 设置（表 vehicles 创建使用 schema.sql).

安装

1. 安装依赖项：

   复制

   pip install -r requirements.txt
   

2. 这 .env 文件已使用您的凭据创建。确保它包含：

   • FIRECRAWL_API_KEY
   • SUPABASE_URL
   • SUPABASE_KEY

用法

1. 运行脚本：

   复制

   python main.py
   

2. 该脚本将启动一个调度程序，每天在 00:00 （午夜）。

3. 保持终端打开或在后台运行脚本（例如，使用 nohup, screen或系统服务）。

数据库模式

参见 schema.sql 在Supabase中创建必要的表。

定制

• 日程：修改 schedule.every().day.at("00:00") 排队 main.py 更改时间。
• 提取模式：在中定义了有效的JSON架构 scrape_data 功能在 main.py.