本地LLM运行工具

DevOps公会演示

使用Ollama和Docker在本地运行LLM。

• 为什么选择本地法学硕士。

  本地LLM提供更大的隐私、更快的响应时间、离线访问、， 以及对定制的完全控制，使其成为安全、实时、， 以及特定于域的应用程序，而不依赖于外部云服务。

• 当地LLMs的好处。
  • 数据隐私与控制
  • 减少延迟
  • 定制
  • 离线可用性
  • 可靠性
  • 更少的审查
• 工程师最大的梦想。（贾维斯）

  • 你有没有想过要建立一个像《钢铁侠》中的JARVIS这样的系统？
  • 你有没有想过，如果JARVIS是基于云的，托尼会面临什么样的问题？
  • 互联网宕机？地区下降？高网络流量？

• Ollama是什么。

  Ollama是一个免费开源平台，允许您运行大型语言模型（LLM） 无需依赖云API或外部服务器。 它旨在使LLM可供开发人员、研究人员和企业访问、安全和定制。

• 所需规格。
  • 中央处理器
    • 最少：4芯
    • 推荐：8核适用于较大型号
    • 首选支持AVX512的现代CPU
  • GPU（可选但推荐）
    • Nvidia GPU（每秒更多令牌）：8GB VRAM
  • 内存（RAM）
    • 基本要求：3B型号8GB
    • 7B型号16GB
    • 13B型号32GB
  • 存储
    • 最低：基础安装12GB
    • 推荐：总空间50GB
• 演示。
  • 介绍MCP服务器和客户端的工作原理。
  • 与Ollama一起运行MCP。（DevOps伙伴）
  • 将MCP仅用于docker命令。
  • 如何创建一个简单的工具。
  • Ollama与Openweb用户界面
  • 参考文献

参考文献

• Docker Python库
• Ollama Python库
• MCP Python库