AI导哈

本地运行大语言模型

Ollama Docker Setup 是一个通过Docker在本地运行大型语言模型的工具，支持多种模型和GPU加速，适用于开发者和研究人员。

  • by ahmad-bytes
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 ahmad-bytes/local_mcp_server_client_sqllite

使用说明

Ollama Docker 设置

在Docker中使用Ollama在本地运行大型语言模型。

快速入门

1. 拉取 Ollama Docker 镜像

docker pull ollama/ollama

2. 运行Ollama容器

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

3. 运行您的模型

docker exec -it ollama ollama run llama3.2:1b
docker exec -it ollama ollama run gemma3:270m

可用模型

大型模型（需要更多RAM/VRAM）

docker exec -it ollama ollama run llama3:70b
docker exec -it ollama ollama run codellama:34b
docker exec -it ollama ollama run mistral:7b

更小的模型（速度更快，资源消耗更少）

docker exec -it ollama ollama run llama3:8b
docker exec -it ollama ollama run phi3:mini
docker exec -it ollama ollama run qwen2:7b
docker exec -it ollama ollama run gemma3:270m

专业模型

docker exec -it ollama ollama run codellama:7b    # For coding
docker exec -it ollama ollama run vicuna:13b      # Chat optimized
docker exec -it ollama ollama run orca-mini:3b   # Very lightweight

模型管理

列出可用模型

docker exec -it ollama ollama list

拉取模型而不运行

docker exec -it ollama ollama pull llama3

移除模型

docker exec -it ollama ollama rm llama3

检查模型信息

docker exec -it ollama ollama show llama3

API访问

一旦运行，您可以通过以下地址访问Ollama API： http://localhost:11434

示例API用法

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:1b",
  "prompt": "Why is the sky blue?"
}'

GPU支持

对于NVIDIA GPU支持，请使用：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

系统要求

  • **小型模型（1-30亿参数）**4GB 内存
  • **中型模型（7-80亿参数）**8GB内存
  • **大型模型（130亿参数+）**16GB+ RAM
  • GPU建议使用配备6GB及以上显存的NVIDIA GPU

故障排除

容器无法启动？

docker logs ollama

网络问题？

docker restart ollama

检查容器状态

docker ps

贡献

请随时提交问题和增强请求！

相关 MCP