AI导哈

多模态嵌入服务

FGCLIP-MCP是一个多模态嵌入服务，提供文本和图像的嵌入向量生成以及相似度计算功能，适用于搜索、推荐系统和多模态AI应用。

  • by 360CVGroup
  • Python
  • 本地部署
  • 4 星标
  • 更新于
在 GitHub 查看 360CVGroup/FGCLIP-MCP

使用说明

FGCLIP-MCP（注：此翻译基于假设的上下文，因为“FGCLIP-MCP”可能是一个特定领域或技术中的术语，其准确含义需根据具体上下文确定。在没有具体上下文的情况下，通常将其视为一个专有名词或缩写进行翻译。）

MCP（模型上下文协议）服务器用于 FG-CLIP 嵌入服务。要获取并配置API密钥，请申请于 https://research.360.cn/sass。

特点/功能

这个MCP服务器提供了以下工具和资源：

工具

  • 文本嵌入为文本生成嵌入向量
  • 图像嵌入为图像生成嵌入向量
  • 余弦相似度计算两个向量列表之间的余弦相似度

用例

这款MCP服务器帮助用户实现以下功能：

  • 图像特征提取将图像转换为高维向量表示，用于机器学习和相似度计算
  • 文本特征提取将文本转换为支持多语言的语义向量表示
  • 多模态相似度计算：
    • 图像到图像的相似性比较不同图像之间的视觉相似性
    • 图像到文本的相似性实现跨模态检索，例如根据文本描述查找相关图像
    • 文本到文本的相似度计算文本之间的语义相似度

借助这些功能，用户可以构建强大的搜索引擎、推荐系统、内容分类系统以及多模态人工智能应用。

工具详情

文本嵌入

为输入文本生成嵌入向量。

参数：

  • texts要嵌入的文本字符串列表
  • model要使用的模型（默认：“fg-clip”）

返回值：

  • saved_uris存储嵌入表示的URI列表
  • success操作是否成功
  • error_msg如果有，错误信息

图像嵌入

为图像生成嵌入向量。

参数：

  • images一个包含图片URL或Base64编码图片的列表
  • model要使用的模型（默认：“fg-clip”）

返回值：

  • saved_uris存储嵌入的URI列表
  • success操作是否成功
  • error_msg如果有，错误信息

余弦相似度

计算两个向量列表之间的余弦相似度。

参数：

  • uris_a第一组嵌入的URI列表
  • uris_b第二组嵌入的URI列表
  • mode计算模式（默认：“成对”）
    • "pairwise"计算对应位置向量的相似度
    • "matrix"为所有向量对计算完整的相似度矩阵

返回值：

  • similarities相似度值或相似度矩阵
  • shape结果的形状信息
  • success操作是否成功

开发与测试

git clone https://github.com/360CVGroup/FGCLIP-MCP 
cd FGCLIP-MCP
uv venv
uv sync
source .venv/bin/activate
export MCP_API_KEY=your_api_key 
pytest -q

MCP 主机配置

来自 pypi

{
  "mcpServers": {  
    "fgclip-mcp": {
      "command": "uvx",
      "args": [
        "fgclip-mcp"
      ],
      "env": {
        "MCP_API_KEY": "your_api_key"
      }
    }
  }
}

来自本地

{
  "mcpServers": {  
    "fgclip-mcp-local": {
      "command": "uv",
      "args": [
        "--directory",
        "/path_to_fgclip-mcp/src/fgclip_mcp",
        "run",
        "/path_to_fgclip-mcp/src/fgclip_mcp/__main__.py"
      ],
      "env": {
        "MCP_API_KEY": "your_api_key"
      }    
    }
  }
}

在……中的用例 Cursor 集成开发环境（IDE）

定位MCP设置

配置MCP设置

启用MCP

与MCP聊天

示例：根据给定文本搜索图片

图片URL：

  • 这个网址是百度图片搜索的一个链接，直接翻译网址本身没有实际意义，但可以描述其内容为：“百度图片搜索的一个链接，指向一张宽度为500像素、高度为490像素的JPEG格式图片，图片来源于特定的文件或资源（由gips3.baidu.com提供，具体参数包括u=1415797224,2271507256，fm=3081，app=3081等）。” 由于网址参数通常包含特定的系统内部信息或加密数据，直接翻译这些参数并没有实际帮助，主要是为了说明这是一个指向图片的百度搜索链接
  • 该网址（https://gips3.baidu.com/it/u=1949034952,1066394115&fm=3081&app=3081&f=JPEG?w=500&h=589）无法直接翻译，因为它是一个图片链接。不过，我可以描述一下这个链接可能指向的内容类型：它可能是一个来自百度图片服务的图片链接，图片宽度为500像素，高度为589像素，格式为JPEG。由于链接本身不包含具体的文字内容，所以无法提供更具体的翻译

许可证

Apache许可证2.0

相关 MCP