流式响应功能

Longchain-MCP 是一个支持流式响应的人工智能交互系统,能够实时将AI生成的回复以打字效果展示给用户,适用于需要实时交互的应用场景。

  • by JimmyFu-Coder
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 JimmyFu-Coder/Longchain-MCP

使用说明

长链-MCP(注:MCP可能代表某种特定的分子、化合物或技术,具体含义需根据上下文确定,此处仅作一般性翻译)

里程碑1:流式响应(打字机式体验) 🎯 目标

启用后端到前端的流式响应,使用户能够在AI生成回复的同时看到回复内容,类似于ChatGPT中的打字效果 。

🧭 功能分解 特性 描述 状态

  1. LLM 流式处理功能 使用 stream() 来从 LLM 中流式传输令牌 ✅
  2. FastAPI 流式路由 返回 StreamingResponse 而不是一次性文本 ✅
  3. 跨域资源共享(CORS)支持 允许前端(React)访问来自其他源的API ✅
  4. 在 React 中进行 Fetch 流式处理 使用 ReadableStream 消费令牌流 ✅
  5. 实时输出渲染 实时追加流式文本 ✅
  6. 加载状态:在进行中时禁用按钮并显示“正在流式传输…” ✅
  7. 错误处理 在失败时显示错误信息 ✅
  8. 自动滚动 在流式传输时保持输出框滚动到底部 ✅
  9. 文档 这个README 😎 ✅ 🛠 技术栈

后端:FastAPI + LangChain(Azure OpenAI)

前端:React + Fetch API 流式传输

大型语言模型(LLM):通过Azure OpenAI服务的GPT-4.1-nano

样式:自定义CSS(深色模式界面)