多模态AI代理

Kubrick AI — Multimodal MCP Agent

Hi Dave...

An AI Agent that can understand images, text, audio and videos.

A free, Open-source course by The Neural Maze and Neural Bits in collaboration with Pixeltable and Opik

🚀 实时部署

Kubrick部署在 Azure容器应用 （印度中部地区）：

🛠️ 技术栈和功能

语言

框架和库

数据库和存储

基础设施和DevOps

可观察性和LLMOps

核心功能

• 🎥 视频处理流水线 --上传视频、提取帧、生成字幕和嵌入，并构建可搜索的视频索引
• 🔍 语义视频搜索 --使用自然语言或图像查询视频以查找相关剪辑
• 🤖 MCP工具使用代理 --Groq驱动的代理（Llama 4 Scout/Maverick），负责路由查询、选择工具和生成响应
• 💬 实时聊天界面 --HAL 9000主题聊天界面，支持视频上传、图像附件和视频剪辑播放
• 🧠 代理内存 --通过Pixeltable实现持久的对话记忆，用于上下文多回合交互
• 📡 MCP协议 --通过流式HTTP使用工具、提示和资源实现完整的模型上下文协议

架构概述

┌─────────────┐     ┌──────────────┐     ┌──────────────┐
│  Kubrick UI │────▶│  Kubrick API │────▶│  Kubrick MCP │
│  (React)    │     │  (FastAPI)   │     │  (FastMCP)   │
│  Port 3000  │     │  Port 8080   │     │  Port 9090   │
└─────────────┘     └──────────────┘     └──────────────┘
                     │ Groq (LLM)         │ OpenAI (Embed)
                     │ Opik (Trace)       │ Pixeltable (DB)
                     │ Memory (PT)        │ PyTorch (ML)

📖 关于本课程

厌倦了那些只教你如何将现有的MCP服务器连接到Claude Desktop的教程吗？

是的，我们也是。

这就是为什么我们建造 库布里克AI，用于视频处理任务的MCP多模代理。对！你没看错。

💡 代理+视频处理。..和MCP！

本课程是The Neural Maze和Neural Bits（从现在开始称为“The Neural Bros”）之间的合作，专为希望超越基础知识并构建严肃的、可投入生产的人工智能系统的开发人员而设计。特别是，您将：

• 了解如何使用Pixeltable和FastMCP构建用于视频处理的MCP服务器

• 设计一个定制的、由Groq驱动的代理，通过其自己的MCP客户端连接到您的MCP服务器

• 将您的代理系统与Opik集成，以实现完全可观察性和快速版本控制

🖊️ 你将学到

• 了解如何使用Pixeltable进行多模式数据处理和有状态代理

• 使用FastMCP创建复杂的MCP服务器：公开资源、提示和工具

• 对MCP服务器应用提示版本控制（而不是在代理API中定义提示）

• 了解如何为您的代理实施自定义MCP客户端

• 使用Llama 4 Scout和Maverick作为LLM，从头开始实现MCP工具代理

• 使用Opik进行MCP提示版本控制

• 了解如何使用Opik实现自定义跟踪和监控

🚀 没有捷径。没有绒毛。让我们边做边学。

💻 你会做什么：

完成本课程后，您将学习如何设计和使代理能够在单个系统中理解跨图像、视频、音频和文本输入的多模式数据。

具体来说，您将获得：

• 构建复杂的多模态处理流水线
• 构建一个视频搜索引擎，并通过MCP（模型上下文协议）将其功能暴露给代理
• 构建一个可用于生产的API来为代理提供动力。
• 整合LLMOps原则和最佳软件工程实践。
• 了解视频、嵌入、流式API、视觉语言模型（VLM）等。

完成本课程后，您将通过HAL主题的衍生产品构建自己的库布里克特工，扮演一对新眼睛和耳朵的角色：

入门指南

库布里克是 不 一个简单的教程。所以，要启动并运行这个系统，你需要先做几件事。

我们已经详细介绍了让你开始做这件事的步骤 GETTING_STARTED.md 文件。

💡 让库布里克跑步只是第一步！现在您已经启动并运行了它，是时候真正了解它的工作原理了（参见 课程大纲).

观看完整视频课程

🧑‍🎓 这门课程是为谁开设的？

通过从头开始自己构建，你将从这门课程中获得最大的收益。 课程组成部分的结构涵盖了关键概念，并演示了如何在此基础上构建，最终实现人工智能系统。

无论你的经验或头衔如何，本课程旨在用你可以理解、学习和应用的实用术语和概念来解析复杂的主题，帮助你构建一个完整的人工智能系统。

🎓 先决条件

在本节中，我们概述了在学习本课程时提高学习体验的一些要求和好处。

本课程的总体水平为初级/中级，但别担心。我们的目标是逐步解释为更多受众设计的每个组件。

💰 费用是多少？

感谢我们的赞助商Pixeltable和Opik，本课程及其材料是开源的，完全免费！

您将能够以最低的成本运行Kubrick示例。这是因为我们将使用OpenAI和Groq进行LLM和VLM通话，这些通话提供免费增值计划：

[！注意]
在这个设置中，为了运行Kubrick Agent示例，免费增值计划就足够了。

📚 课程大纲

Kubrick Agent开源课程由五个综合模块组成，涵盖概念、系统设计、工具和实践实施。

为了充分利用这门课程，我们建议：

• 克隆此存储库。
• 按照每个模块的入门部分进行操作。
• 阅读模块文章以了解每个组件。
• 按照视频课程进行实践。
• 设置代码并运行项目。

赞助商

作者

找到我们