PDF结构化查询工具

PdfToMem是一个将PDF转换为结构化、可查询内存的工具,专为大型语言模型设计,支持智能解析、多代理架构和灵活的存储检索。

  • by alinvdu
  • Python
  • 本地部署
  • 13 星标
  • 更新于
在 GitHub 查看 alinvdu/SimpleAgenticRagTalk

使用说明

🧠 PdfToMem

将PDF转换为结构化、可查询的内存——专为LLM构建。

大型语言模型在记忆方面存在困难。 PdfToMem 使其毫不费力。
通过结合推理驱动的摄取、结构化检索和多代理架构,它将非结构化PDF转换为丰富的内存表示。

它暴露了一个强大的 MCP服务器 协调摄取、推理、存储和查询——使用最先进的工具,如 Llama指数 和 LangGraph.


🎥 视频演练

🧠 MCP服务器-- 内存控制平面

这 MCP服务器 是PdfToMem的大脑。它利用基于工具的推理来:

  • 🏗️ 设计摄入管道
  • 🧩 选择正确的内存表示
  • 📊 索引和结构PDF内容以供检索

使用以下工具 determine_memory_architecture 使用以下命令自动推断最佳内存结构 LlamaIdex抽象:

  • VectorIndex
  • QueryEngine
  • LLMSelector

🛠️ 基于LangGraph的工具驱动解析

PdfToMem 采用模块化 工具 从PDF中提取结构化数据:

  • 📄 文本提取
  • 📊 表检测
  • 🧾 扫描文档的OCR
  • 🖼️ 图像提取
  • 📸 PDF屏幕截图

这些工具为 多智能体系统,实现智能、上下文感知的处理。


🤖 多代理架构

PdfToMem使用 基于LangGraph的编排器 协调专业代理。每个代理执行不同的任务:

  • 🕵️ 提取剂 –提取原始内容
  • 🧠 语义代理 –应用嵌入和理解
  • ✂️ 细分代理 –智能拆分内容
  • 🕸️ 关系代理 –构建语义链接

编排者决定 何时与如何 根据内容类型和推理目标调用这些代理。


🧭 记忆规划——表征推理

一旦数据结构化 规划模型 (目前 o3-mini)确定 最佳存储格式 使用 Llama指数 组件:

  • 🧱 SimpleSentenceIndex
  • 🌐 AutoMergingIndex
  • 🧮 自定义工具增强索引

这种推理驱动的方法确保 最佳检索性能 根据文件量身定制。


💾 存储--灵活、动态、可查询

基于所选的内存表示,FastAPI支持 存储服务 打造量身定制的 查询引擎 对于每个PDF。

  • 🔍 内置搜索和检索功能
  • 🧠 矢量和混合索引支持
  • 🧪 模块化实验

该存储旨在支持 可扩展存储系统 跨域。


🖥️ MCP客户端——具有友好UI的完全控制

这 MCP客户端 是一个基于React的界面,用于控制整个生命周期:

  • ⚙️ 配置代理、工具、内存计划
  • 📂 上传和摄取PDF
  • 🔎 预览结构化块
  • 🧪 查询内存和查看响应

一切都是交互式的、可检查的和可定制的。


🚀 为什么选择PdfToMem?

  • ✅ LLM优化摄取和记忆
  • 🧩 模块化工具和代理
  • 🧠 基于推理的记忆规划
  • 💬 通过LlamaIndex查询表示
  • 🌐 用于完整管道控制的UI+neneneba API

🛠️ 欢迎投稿!帮助我们构建智能存储系统的未来。
🔗 MIT许可证