聚合搜索引擎工具

Deep Search Lightning 是一个轻量级的纯网页搜索解决方案,支持多引擎聚合搜索、深度反思和结果评估,为大型语言模型提供无框架实现的开发者集成方案。

  • by positive666
  • Python
  • 本地部署
  • 3 星标
  • 更新于
在 GitHub 查看 positive666/deep_search_lightning

使用说明

深度搜索闪电

适用于大型语言模型的轻量级纯网络搜索解决方案,支持多引擎聚合搜索、深度反思和结果评估。在网络搜索和深入研究之间采取平衡的方法,提供无框架的实现,便于开发人员集成。

✨ 为什么选择deepsearch_lighting?

Web搜索是大型语言模型的常见功能,但传统解决方案存在局限性:

  • 搜索结果质量和反射效果有限
  • 需要强大的模型和付费搜索引擎
  • 小型模型经常在工具调用模式上遇到困难
  • 不同模型大小的上下文理解可能不稳定

深度搜索照明提供:

  • 无框架无限制实施
  • 使用免费API,同时保持良好的查询质量
  • 可调节的深度参数,以平衡速度和结果
  • 模型自我评价的反思机制
  • 支持任何尺寸的型号,包括较小的型号

【实验计划】:

  • 简化设计,无需网页解析或文本分块
  • 考虑添加RL训练的小回忆模型

✨ 特性

  • 多引擎聚合搜索:

    • ✅ 百度(免费)
    • ✅ DuckDuckGo(免费,但需要VPN)
    • ✅ Bocha(需要API密钥)
    • ✅ Tavily(需要注册密钥)
  • 反思策略与可控评价

  • 所有LLM型号的自定义管道

  • OpenAI风格的API兼容性

  • 纯模型源代码,易于集成

  • 内置MCP服务器支持

📺 演示

🔄 Piepline

🚀 快速开始

1.安装

    conda create -n deepsearch_lightning python==3.11
    conda activate deepsearch_lightning
    pip install -r requirements.txt
    # Optional: For langchain support
    pip install -r requirements_langchain.txt

🔧配置

  1. 将.env.example.s重命名为.env
  2. 填写您的模型信息(目前支持OpenAI风格的API)
  3. 百度搜索默认启用-根据需要配置其他引擎

🚀 跑

        1. test case
                python test_demo.py
        2. streamlit demo
                streamlit run streamlit_app.py
        3. run mcp server
                python mcp_server.py 
                python langgraph_mcp_client.py

规划

🧪 RL-trained small recall QA model validation
🧪 Strategy improvements
🧪 Multi-agent framework implementation

🙌 欢迎贡献您的想法!通过[问题]或[拉取请求]参与项目。

许可证

此存储库根据 Apache-2.0许可证.