本地LLM聊天服务

一个基于Ollama本地大语言模型的Node.js API和Angular UI的聊天服务,支持模型切换和流式响应。

  • by andreizav
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 andreizav/mcp-chatbot

使用说明

本地LLM(Ollama)+节点API+角度UI

结构

  • 服务器/-Node.js与Ollama(本地LLM)对话的API
  • client/--Angular 17独立应用程序(简单的聊天UI)

快速启动

  1. 安装并运行Ollama,拉一个小模型:
curl -fsSL https://ollama.com/install.sh | sh
ollama serve
ollama pull deepseek-r1:1.5b
  1. 服务器:
cd server
cp .env.example .env   # adjust if needed
npm i
npm run dev
  1. 客户:
cd client
npm i
npm start

打开Angular用户界面http://localhost:4200(代理http://localhost:3000).


备注

  • 更改模型 server/.env (型号=…)。
  • SSE流媒体端点可在POST/chat/stream上使用。
  • Angular使用HttpClient;代理配置将/api路由到服务器。