AI导哈

语音银行助手

Nova是一款基于AI的语音优先银行助手，能够理解自然语言、自主解决复杂银行问题、分析金融数据并实时执行交易。

  • by akashs101199
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 akashs101199/gcp-banking-personal-assistant

使用说明

Nova银行AI🏦 🤖

状态: 🚧 开发中（Alpha）

新星 是下一代语音优先的银行助理，旨在彻底改变客户服务。与只会升级问题的传统聊天机器人不同，Nova是一个 自主主体 能够解决复杂的银行问题，分析财务数据，并实时执行交易。

🌟 视觉

我们的目标是建立一个 完整的客户服务代理 即：

  1. 理解 具有人类水平细微差别的自然语言（语音和文本）。
  2. 解决 自主问题（例如，“为什么要向我收取这笔费用？”、“修复我的交易”）。
  3. 逐步扩大 只有在严格需要人为干预的情况下，才能明智地进行干预。
  4. 主动地 监控财务状况（欺诈检测、现金流警报）。

🚀 已实现的关键功能

1.🗣️ 实时语音接口

  • 免提交互：具有“Barge in”功能的全双工语音聊天（自然中断AI）。
  • 低延迟：用于近乎即时响应的流式架构。
  • 视觉反馈：实时对音频做出反应的“圆形波”可视化工具。
  • 文本转语音（TTS）：高品质、听起来自然的语音合成（Google Cloud TTS）。

2.🧠 高级AI大脑（顶点AI）

  • 模型：技术支持 双子座2.0闪光灯 速度和推理能力。
  • 角色：“Nova”-专业、热情、简洁的银行专家。
  • 情境感知：记住对话历史和用户上下文。

3.🧪 人工智能技术与调优

我们采用先进技术确保生产级性能：

  • 很少射击提示：系统提示包括精心策划的“语音优先”银行互动示例，以指导模型的风格和简洁性。
  • 系统提示工程：一个强大的人物角色定义（“Nova”）对响应长度和音调实施了严格的限制，并针对音频输出进行了优化。
  • 工具使用（函数调用）：该模型经过微调，可以检测何时调用外部工具（MCP），何时直接应答。
  • 流媒体架构：我们实现了一个定制的流媒体管道，该管道对文本进行标记，并以实时块的形式合成音频，以最大限度地减少延迟。

4.🔌 模型上下文协议（MCP）集成

  • 标准化工具：使用开放标准 主控程序 发现并执行工具。
  • 动态扩展性：添加到MCP服务器的新工具可立即供代理使用。
  • 已实施的工具:
    • get_account_balance：实时余额检查。
    • get_recent_transactions：具有过滤功能的交易历史记录。
    • get_spending_analysis：按类别分列的支出。
    • detect_anomalies：统计欺诈/异常检测。
    • predict_cashflow：未来余额预测。
    • transfer_funds：安全资金转账（带PIN验证）。
    • pay_bill：票据付款执行。

4.📊 数据湖架构

  • BigQuery：所有银行数据（用户、交易、报价）的集中数据仓库。
  • 实时分析：基于SQL的即时洞察。

🛠️ 技术栈

  • 前端：React、Vite、TailwindCSS、Web Audio API。
  • 后端：Python、FastAPI、WebSockets。
  • AI和ML：谷歌顶点AI（双子座）、谷歌云语音转文本、谷歌云文本转语音。
  • 数据：谷歌BigQuery。
  • 协议：模型上下文协议（MCP）。

🔮 路线图

  • [ ] 自主问题解决：可以调查纠纷和退款的代理人。
  • [ ] 多代理编排：贷款、抵押贷款和投资的专业代理。
  • [ ] 生物认证：用于安全交易的语音ID。
  • [ ] 移动应用集成：原生iOS/Android支持。

🏃‍♂️ 入门指南

先决条件

  • Node.js和npm
  • Python 3.10+
  • 谷歌云平台帐户（Vertex AI，启用BigQuery）

安装

  1. 克隆仓库

    git clone https://github.com/your-org/nova-banking-ai.git
cd nova-banking-ai

  2. 后端设置

    cd backend
pip install -r requirements.txt
export GCP_PROJECT_ID=your-project-id
python -m backend.main

  3. 前端设置

    cd frontend
npm install
npm run dev

相关 MCP