使用说明
市场洞察服务器
一个实时商品跟踪系统，使用Apache Spark、OpenAI GPT和MCP协议生成可操作的市场洞察。
特性
- 从Reddit、新闻API和雅虎财经实时收集数据
- 使用Apache Spark（PySpark 3.5.0）进行可扩展处理
- GPT-4提供的自然语言见解
- 可配置用于 任何 大宗商品市场：能源、金属、农业等
- 内置动态配置生成和子版块发现
- 已准备好进行部署，包括错误处理、重试和异步收集
需求
- Python 3.x
- PySpark 3.5.0
- Spark NLP 4.4.0
- 意图tp
- y融资
- openai
- 美容组4
安装依赖项：
pip install -r requirements.txt
用法
python spark_market_insights_server.py --commodity "nickel"
输出：
- 从Reddit和新闻来源清理文本数据
- TF-IDF功能
- GPT-4驱动的洞察报告
- JSON导出见解
建筑
-
数据收集层
- Reddit和新闻文章的异步抓取
- 雅虎财经实时价格推送
-
处理层（Apache Spark）
- 分词→ 停止删除单词→ TF-IDF矢量化
- 支持Spark NLP管道
-
AI洞察层
- 使用OpenAI GPT-4总结和综合市场叙述
-
配置层
- 自动识别每个商品的相关子版块和关键字
🔍 输出示例
“印尼新出口禁令后，镍价大幅上涨。Reddit情绪看涨，有帖子预测供应受限。市场数据显示，蔚来和LI等电动汽车相关股票相关上涨。”
🛠 故障排除
| 问题 | 修复 |
|---|---|
| 火花阶段卡住 | 检查内存设置，重新分区输入 |
| API返回429 | 添加回退/重试逻辑，旋转API键 |
| GPT返回空 | 使用最新型号，调整提示 |
即将推出
- Youtube视频也将进行商品分析
- 公共仪表板上 Smithery.ai
贡献
是否有新的数据源或洞察模型？PR欢迎！
许可证
MIT许可证
