AI医疗语音助手

一个完整的AI医疗语音助手项目,包含前端和后端,提供智能医疗咨询和视频通话功能。

  • by tr00x
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 tr00x/tavus-zapier_mcp

使用说明

🩺 MedAssistant - Complete AI Medical Voice Assistant

Полный проект интеллектуального медицинского голосового ассистента с фронтендом и бэкендом.

Обновлено: Полная версия проекта с фронтендом и бэкендом - v2.0

📸 Скриншоты

Главный интерфейс

Видеозвонок с медицинским ассистентом

📁 Структура проекта

mamut-rahal/
├── frontend/              # Next.js веб-приложение
│   ├── app/              # Next.js App Router
│   ├── components/       # React компоненты
│   └── README.md         # Документация фронтенда
├── agent.py              # Основной AI агент
├── mcp_client/           # MCP клиент для медицинских инструментов
├── prompts.py            # Промпты для AI
├── tools.py              # Инструменты агента
└── requirements.txt      # Python зависимости

🚀 Быстрый старт

1. Клонирование проекта

git clone https://github.com/tr00x/tavus-zapier_mcp.git
cd tavus-zapier_mcp

2. Настройка бэкенда (Python)

# Создание виртуального окружения
python -m venv venv
source venv/bin/activate  # На Windows: venv\Scripts\activate

# Установка зависимостей
pip install -r requirements.txt

# Настройка переменных окружения
cp .env.example .env
# Отредактируйте .env файл с вашими API ключами

3. Настройка фронтенда (Next.js)

cd frontend
npm install

# Настройка переменных окружения
cp .env.example .env.local
# Добавьте ваши LiveKit credentials

4. Запуск проекта

Терминал 1 - Бэкенд:

python agent.py

Терминал 2 - Фронтенд:

cd frontend
npm run dev

Откройте http://localhost:3000 в браузере.

✨ Особенности

Фронтенд

  • 🎥 Полноэкранное видео - Максимальное погружение
  • 📱 Мобильная оптимизация - Адаптивный дизайн
  • 🌊 Анимированные эффекты - Волновые эффекты на кнопках
  • 🩺 Медицинская тематика - Специализированный UI

Бэкенд

  • 🤖 AI Agent - Интеллектуальный медицинский ассистент
  • 🔧 MCP Client - Модульные инструменты
  • 🎙️ LiveKit Integration - Голосовое взаимодействие
  • 🔒 Безопасность - HIPAA-совместимые консультации

🛠️ Технологии

Frontend:

  • Next.js 14
  • React + TypeScript
  • Tailwind CSS
  • LiveKit Client SDK

Backend:

  • Python 3.11+
  • LiveKit Agents
  • MCP (Model Context Protocol)
  • OpenAI API

📱 Мобильный доступ

Для доступа с мобильных устройств:

  1. Найдите IP вашего компьютера:
ifconfig | grep "inet " | grep -v 127.0.0.1
  1. Откройте на телефоне: http://YOUR_IP:3000

🚀 Деплой на VPS

Подготовка к продакшену

  1. Клонируйте репозиторий на VPS:
git clone https://github.com/tr00x/tavus-zapier_mcp.git
cd tavus-zapier_mcp
  1. Настройте переменные окружения:
cp .env.production .env
# Отредактируйте .env с реальными API ключами
  1. Запустите с Docker:
# Сборка и запуск
docker-compose up -d

# Проверка статуса
docker-compose ps

# Просмотр логов
docker-compose logs -f
  1. Настройка Nginx (опционально):
server {
    listen 80;
    server_name your-domain.com;
    
    location / {
        proxy_pass http://localhost:3000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
    
    location /api {
        proxy_pass http://localhost:8000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

Управление сервисами

# Остановка
docker-compose down

# Перезапуск
docker-compose restart

# Обновление
git pull
docker-compose build
docker-compose up -d

🔧 Конфигурация

Переменные окружения (Backend)

OPENAI_API_KEY=your_openai_key
LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=your_livekit_key
LIVEKIT_API_SECRET=your_livekit_secret

Переменные окружения (Frontend)

LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=your_livekit_key
LIVEKIT_API_SECRET=your_livekit_secret

📋 Доступные скрипты

Backend:

python agent.py          # Запуск AI агента
python tools.py          # Тестирование инструментов

Frontend:

npm run dev              # Разработка
npm run build            # Сборка
npm run start            # Продакшн

🤝 Вклад в проект

  1. Форкните репозиторий
  2. Создайте ветку (git checkout -b feature/new-feature)
  3. Коммитьте изменения (git commit -m 'Add feature')
  4. Пушьте ветку (git push origin feature/new-feature)
  5. Создайте Pull Request

📄 Лицензия

MIT License - см. файл LICENSE

🆘 Поддержка


Сделано с ❤️ для улучшения медицинского обслуживания