语音对话AI应用

一个基于Azure OpenAI和Microsoft Learn文档的语音优先对话AI应用,提供增强的MCP集成和双文本转语音功能。

  • by balakreshnan
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 balakreshnan/mcpapp

使用说明

MCPApp

基于MCP的应用程序,显示现有的MCP服务器-一个由Azure OpenAI和Microsoft Learn文档通过增强的MCP集成提供支持的语音对话式AI应用程序。

📋 建筑

有关详细的系统架构、组件图和技术规格,请参阅 建筑.md.

🚀 快速开始

开发设置

  • 安装python调试器
  • 安装Azure应用服务
  • 安装功能
  • 创建python虚拟环境
  • 安装python 3.12

环境配置

复制 sample.env 向 .env 并配置您的Azure OpenAI凭据:

cp sample.env .env
# Edit .env with your Azure OpenAI settings

所需的环境变量:

  • AZURE_OPENAI_ENDPOINT -Azure OpenAI服务端点
  • AZURE_OPENAI_KEY -Azure OpenAI API密钥
  • AZURE_OPENAI_DEPLOYMENT -聊天模型部署名称
  • AZURE_OPENAI_ENDPOINT_TTS -Azure OpenAI TTS端点(可选,回退到Google TTS)
  • AZURE_OPENAI_KEY_TTS -Azure OpenAI TTS API密钥(可选)

地方发展

pip install -r requirements.txt
streamlit run app.py

Azure应用服务部署

bash streamlit.sh

🎯 特性

  • 语音优先接口:具有双音频响应选项的自然语言语音输入
  • 增强的MCP集成:用于Microsoft Learn文档访问的直接Azure OpenAI MCP客户端
  • 双文本转语音:Azure OpenAI TTS(gpt-4o-mini-TTS),支持谷歌TTS回退
  • 会话记忆:具有会话管理和音频播放功能的多回合对话
  • Microsoft学习用户界面:用于Microsoft文档查询的专用界面
  • Azure云集成:使用Azure OpenAI服务进行可扩展部署

🛠 技术栈

  • 前端:具有宽布局的流线型Web UI
  • 人工智能服务:Azure OpenAI(耳语STT+GPT聊天+TTS)
  • 整合:使用Azure OpenAI MCP客户端的模型上下文协议(MCP)
  • 外部API:Microsoft Learn API、Azure OpenAI TTS、Google文本到速度(回退)
  • 部署:Azure应用服务