AI导哈

LLM微调与推理服务

一个基于Google Cloud Run的可扩展、模块化AI管道，集成了LLM微调和服务工作流、安全的微服务通信层以及自主决策代理，旨在支持高效、隐私保护且生产就绪的端到端智能系统。

  • by Jaaswand
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 Jaaswand/cloud-run-llm-adk-mcp

使用说明

使用MCP服务器和ADK代理在云端运行LLM管道

该项目演示了如何构建一个可扩展的模块化AI管道，该管道将LLM微调和服务工作流与安全的微服务通信层和自主决策代理集成在一起，所有这些都是使用Google Cloud Run部署的。

其目标是展示基于云的GPU服务、API和代理如何协同工作，以支持高效、隐私感知和生产就绪的端到端智能系统。

项目概述

该系统有四个主要组成部分：

  1. LLM微调服务（GPU）
    使用支持GPU的Cloud Run Jobs微调类似Gemma的模型，并将模型检查点存储在Google Cloud Storage（GCS）中。

  2. LLM推理服务（vLLM）
    使用以下命令为微调后的模型提供服务 vLLM 通过云运行（GPU） 兼容OpenAI的API.

  3. MCP服务器
    一种安全的微服务（使用API密钥），用于处理来自代理和LLM的特定上下文请求。

  4. ADK代理
    一个轻量级的自主决策代理，与LLM和MCP服务器通信，以实现智能任务执行。

当您获得GCP访问权限时

# 0) Auth & project config
source .env
bash scripts/01_setup.sh

# 1) Build + push all images
bash scripts/02_build_and_push_images.sh

# 2) Fine-tune (creates & executes a GPU job)
bash scripts/03_finetune_job_create_execute.sh
# After it finishes, update MODEL_GCS in .env to the emitted checkpoints path.

# 3) Deploy vLLM service (GPU) serving your checkpoints
bash scripts/04_deploy_vllm_service.sh

# 4) Deploy secure MCP server
bash scripts/05_deploy_mcp_server.sh

# 5) Deploy ADK agent (connects to both LLM + MCP)
bash scripts/06_deploy_adk_agent.sh


# Note
The setup script is currently minimal for local preparation.
Once GCP access is available, extend it to include:
- Service account creation
- Secret Manager setup (HF_TOKEN)
- Proper IAM roles

相关 MCP