AI导哈

本地LLM开发栈

基于Docker Compose的本地LLM开发栈，支持GPU/CPU配置，包含Ollama、MCP Inspector、Node.js MCP Server、MCP Proxy和前端开发服务。

  • by obione94
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 obione94/mcp-server-sse

使用说明

Build and run in just 5 minutes ⏱️

Installation

Cloning the Repository and build dependency Init projet

git clone [mon-repo-git]
cd [mon-rep-repo-git]
cp .env.dist .env # configure port
make build-dependancies # install dependencies show makeFile

After Init projet you can build IA whith with your configuration

  • For Nvidia GPU setups:

docker compose --profile gpu-nvidia pull
docker compose create && docker compose --profile gpu-nvidia up

  • For Mac / Apple Silicon users

docker compose pull
docker compose create && docker compose up

  • For Non-GPU setups:

docker compose --profile cpu pull
docker compose create && docker compose --profile cpu up

Docker Compose - MCP + Ollama Stack

Documentation du fichier docker-compose.yml pour le développement d'un stack MCP (Model Context Protocol) avec Ollama.

Vue d'ensemble

Ce stack déploie : Ollama (LLM local CPU/GPU) sur port 11434 MCP Inspector (UI debug) : 6274 Node.js MCP Server : 3000 MCP Proxy : 3001 Frontend : 3002 Réseau interne : services-net Volumes persistants : Ollama models

Service et Ports exposés

Service Port hôte Description
Ollama 11434 API LLM
MCP Inspector 6274 UI Client
MCP Inspector 6277 Proxy Server
MCP Server 3000 MCP Backend
MCP Proxy 3001 Proxy MCP
Frontend 3002 App Dev

Profils GPU/CPU

Profil Services GPU support
cpu ollama-cpu + pull CPU uniquement
gpu-nvidia ollama-gpu + pull NVIDIA CUDA
gpu-amd ollama-gpu-amd + pull AMD ROCm hub.docker​

Services détaillés

🧠 Ollama (LLM Local)

Anchors :

x-ollama : Serveur principal (CPU/GPU) x-init-ollama : Pull automatique llama3.1:8b

Fonctionnalités :

Healthcheck API /tags toutes les 5s
curl http://localhost:11434/api/tags
Volume : persistant ollama_storage:/root/.ollama
OLLAMA_HOST=ollama:11434 pour communication interne
Restart automatique unless-stopped
Démarrage :
docker compose --profile cpu up -d ollama-pull-llama-cpu ollama-cpu

🔍 MCP Inspector

  • Build : ./mcpinspector/Dockerfile
  • Ports : 6274 (UI), 6277 (Proxy)
  • Volumes : Hot-reload server code
  • Config : DANGEROUSLY_OMIT_AUTH=true (dev only)

⚙️ MCP Node.js Server

  • Build : ./mcp-nodejs-server/
  • Port : 3000
  • Hot-reload : Nodemon + TypeScript
  • Volumes : Hot-reload server code

🌐 MCP Proxy

  • Build : ./proxy/
  • Port : 3001
  • Dépendances : mcp-nodejs-server
  • Hot-reload : Nodemon TS

🎨 Frontend (Dev)

  • Build : ./frontend/
  • Port : 3002 → 3000
  • Hot-reload : Vite/Webpack
  • Config : WATCHPACK_POLLING=true (Docker file watching)

Structure des dossiers

├── mcp-inspector/              # MCP Inspector
├── mcp-server/                 # Backend MCP
├── mcp-proxy-inspector/        # Proxy MCP
├── next-front-end/             # Frontend
└── docker-compose.yml

Ce stack est optimisé pour développement local avec hot-reload partout et pull automatique des modèles Ollama !

相关 MCP