令牌计数服务

一个基于OpenAI的tiktoken库的MCP服务器,提供令牌计数和AI模型成本估算功能。

  • by adbertram
  • JavaScript
  • 本地部署
  • 2 星标
  • 更新于
在 GitHub 查看 adbertram/tiktoken-mcp

使用说明

tiktoken mcp

一个MCP(模型上下文协议)服务器,使用OpenAI的tiktoken库提供令牌计数功能。

特性

  • 🔢 令牌计数:使用各种tiktoken编码计算任何文本的标记
  • 💰 成本估算:估算流行AI模型(GPT-4、Claude等)的代币成本
  • 🚀 易于使用:直接运行 npx -无需安装
  • 🔧 Claude桌面集成:与Claude Desktop应用无缝集成

安装

您可以使用npx直接运行此MCP服务器:

npx tiktoken-mcp

或者全局安装:

npm install -g tiktoken-mcp

先决条件

  • Node.js 16或更高版本
  • Python 3.6或更高版本
  • pip(Python包管理器)

tiktoken Python库将在您首次运行该包时自动安装。

可用工具

count_tokes

使用各种tiktoken编码计算文本中的标记。

参数:

  • text (必填):用于计数令牌的文本
  • model (可选):要使用的编码模型。选项:“cl100k_base”(默认)、“p50k_base”、“p50-edit”、“r50k_base”

估算成本

估算各种AI模型的代币成本。

参数:

  • text (必填):估算成本的文本
  • model (必填):估算成本的模型。选项:“gpt-4”、“gpt-4-turbo”、“gpt-3.5涡轮”、“claude-3-opus”、“cloude-3-sdonnet”、“croude-3-haiku”

Claude桌面配置

要将此MCP服务器与Claude Desktop一起使用,请将以下内容添加到您的Claude配置文件中:

macOS

地点: ~/Library/Application Support/Claude/claude_desktop_config.json

视窗

地点: %APPDATA%\Claude\claude_desktop_config.json

配置

{
  "mcpServers": {
    "tiktoken": {
      "command": "npx",
      "args": ["tiktoken-mcp"]
    }
  }
}

添加此配置后,重新启动Claude Desktop。然后,您应该能够在对话中使用令牌计数工具。

Claude中的示例用法

配置后,您可以使用以下工具:

  • “计算这段文字中的标记:'你好,世界!'”
  • “估算GPT-4的提示成本”
  • “此段落中有多少个令牌使用cl100k_base编码?”

输出示例

令牌计数:

Token count: 13
Model: cl100k_base
First 100 token IDs: 9906, 11, 1917, 0, 498, 1097, 701, 30, 220, 17, ...

成本估算:

Token count: 150
Model: gpt-4
Estimated input cost: $0.004500
Estimated output cost: $0.009000
Total cost (if used as both input and output): $0.013500

运作原理

此MCP服务器在后台使用Python的tiktoken库来准确计数令牌。它支持多种编码模式:

  • cl100kbase:GPT-4、GPT-3.5涡轮增压发动机和较新型号使用
  • p50kbase:由Codex模型使用
  • p50k_编辑:由编辑模型使用
  • r50k_基:GPT-3型号使用

贡献

欢迎投稿!请随时提交拉取请求。

问题

如果您遇到任何问题,请在 GitHub存储库.

许可证

麻省理工学院