AI导哈

LLM客户端服务

一个基于GitHub认证的本地LLM客户端服务，提供STDIO和HttpStream两种API交互方式。

  • by drakedey
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 drakedey/mcp-server-excersice

使用说明

入门指南

正在运行STDIO端点

本指南将引导您完成初始设置以及如何与应用程序交互。

1.生成GitHub个人访问令牌

要进行身份验证，您需要生成一个GitHub个人访问令牌。请按照此链接中提供的说明进行操作： https://github.com/microsoft/mcp-for-beginners/tree/main/03-GettingStarted/03-llm-client#authentication-using-github-personal-access-token 此令牌将用于验证您的请求。

2.创建.env文件

在项目的根目录中创建一个名为.env的文件。此文件将存储您的环境变量。

3.将您的GitHub Token添加到.env

在.env文件中，指定将启动AI模型的参数，例如：

MODEL_TOKEN=NULL
MODEL_URL=http://127.0.0.1:1234/v1
MODEL_NAME=openai/gpt-oss-20b

4.启动应用程序

设置.env文件后，您可以通过运行以下命令启动应用程序：

npm run host

这将在中运行服务器 http://localhost:3000.

5.与API互动

您可以使用curl与应用程序的API交互。以下是一个如何向/stdio聊天端点发送提示的示例：

curl --location 'http://localhost:3000/stdio-chat' \
--header 'Content-Type: application/json' \
--data '{
    "prompt": "Add 2 and 10"
}'

正在运行HttpStream端点

1.启动应用程序

设置.env文件后，您可以通过运行以下命令启动应用程序：

npm run initialize-http-server && npm run host

这将在中运行服务器 http://localhost:3000 和 http://localhost:3001.

2.与API互动

您可以使用curl与应用程序的API交互。以下是一个如何向/stdio聊天端点发送提示的示例：

curl --location 'http://localhost:3000/http-chat' \
--header 'Content-Type: application/json' \
--data '{
    "prompt": "Add 2 and 10"
}'

相关 MCP