多轮工具使用代理基准测试

1. API 키 설정     →  cp .env.example .env && 키 입력
2. 450회 평가 실행  →  cd tau2-bench && ./run_quick_450.sh
3. 결과 확인       →  results/latest/전체_요약/TAU2_전체요약_latest.xlsx

┌─────────────────────────────────────────────────────────────────────┐
│                                                                     │
│   ❌ "정답 텍스트를 맞히는가?"                                       │
│                                                                     │
│   ✅ "에이전트가 도구를 사용해 DB를 변경하고 과업을 완수하는가?"      │
│                                                                     │
└─────────────────────────────────────────────────────────────────────┘

┌─────────────┐       ┌─────────────┐       ┌─────────────┐
│   Agent     │◀─────▶│    User     │       │    Tool     │
│   (LLM)     │       │ (Simulator) │       │    (API)    │
└──────┬──────┘       └─────────────┘       └──────▲──────┘
       │                                           │
       │            tool_call 요청                 │
       └───────────────────────────────────────────┘

Turn 1  🤖 Agent  : "안녕하세요, 무엇을 도와드릴까요?"
        ↓
Turn 2  👤 User   : "주문 W2378156 반품하고 싶어요"
        ↓
Turn 3  🤖 Agent  : [TOOL_CALL: get_order_details]
        ↓
Turn 4  🔧 Tool   : {order_id: "#W2378156", status: "delivered"}
        ↓
Turn 5  🤖 Agent  : [TOOL_CALL: process_return]
        ↓
Turn 6  🔧 Tool   : {success: true, refund: 150.00}
        ↓
Turn 7  🤖 Agent  : "반품 완료! $150 환불됩니다."
        ↓
Turn 8  👤 User   : "감사합니다!" → [STOP]

TAU2-Bench/
├── README.md                    ← 이 파일
├── .env                         ← API 키 (gitignore)
│
└── tau2-bench/                  ← 업스트림 벤치마크
    ├── README.md                ← 공식 문서 (영어)
    ├── EXCEL_GUIDE.md           ← 엑셀 보고서 가이드
    │
    ├── run_quick_450.sh         ← ⭐ 450회 평가 스크립트
    ├── generate_excel_report.py ← 엑셀 생성기
    │
    └── results/latest/          ← 결과 (gitignore)
        ├── 전체_요약/
        └── 모델별/

cp .env.example .env
# .env 파일 열고 OPENROUTER_API_KEY 입력

cd tau2-bench
./run_quick_450.sh

data/tau2/
├── domains/
│   ├── retail/
│   │   ├── tasks.json          ← 평가 태스크 (115개+)
│   │   ├── db.json             ← 상품/주문/유저 DB (83K+ lines)
│   │   ├── policy.md           ← 에이전트 정책 문서
│   │   └── split_tasks.json    ← base/test 분할
│   │
│   ├── airline/
│   │   ├── tasks.json          ← 평가 태스크
│   │   ├── db.json             ← 예약/비행편 DB
│   │   ├── policy.md           ← 항공 정책 문서
│   │   └── split_tasks.json
│   │
│   └── telecom/
│       ├── tasks.json          ← 기본 태스크
│       ├── tasks_full.json     ← 전체 태스크
│       ├── main_policy.md      ← 메인 정책
│       ├── tech_support_*.md   ← 기술 지원 워크플로우
│       ├── db.toml             ← 계정 DB
│       └── workflows/          ← 문제해결 플로우차트
│
├── user_simulator/
│   └── simulation_guidelines.md    ← 시뮬레이션 가이드라인
│
└── results/final/                  ← 공식 결과 JSON

{
  "id": "0",
  "description": {
    "purpose": "테스트 목적",
    "relevant_policies": "관련 정책",
    "notes": "추가 노트"
  },
  "user_scenario": {
    "persona": null,
    "instructions": {
      "task_instructions": "세부 행동 지침",
      "domain": "retail | airline | telecom",
      "reason_for_call": "고객이 전화한 이유",
      "known_info": "고객이 알고 있는 정보",
      "unknown_info": "고객이 모르는 정보"
    }
  },
  "initial_state": null,
  "evaluation_criteria": {
    "actions": [...],           // 예상 Tool 호출 목록
    "communicate_info": [...],  // 전달해야 할 정보
    "env_assertions": [...],    // 환경 상태 검증
    "nl_assertions": [...]      // 자연어 검증
  }
}

{
  "timestamp": "2025-06-05T15:33:58.840015",
  "info": {
    "num_trials": 4,
    "max_steps": 200,
    "user_info": { "llm": "gpt-4.1-2025-04-14", ... },
    "agent_info": { "llm": "gpt-4.1-2025-04-14", ... },
    "environment_info": { "domain_name": "retail", "policy": "...", ... }
  },
  "tasks": [
    {
      "id": "0",
      "user_scenario": { ... },
      "evaluation_criteria": { ... },
      "trials": [
        {
          "messages": [...],     // 전체 대화 기록
          "reward": 1.0,         // 최종 점수
          "reward_breakdown": {  // 항목별 점수
            "DB": 1.0,
            "COMMUNICATE": 1.0,
            "ACTION": 1.0
          }
        }
      ]
    }
  ]
}

[ 입력 데이터 ] ─────────┐
(Task + Tools + User)    │
                         ▼
[ 평가 대상 모델 ] ─────── (OpenRouter API 호출)
(Agent Response 생성)    │
                         ▼
[ User Simulator ] ────── (LLM이 고객 역할 수행)
(Multi-Turn 대화 진행)   │
                         ▼
[ Tool Execution ] ────── (API 호출 → DB 상태 변경)
(실제 환경에서 실행)     │
                         ▼
[ 결과 검증 ] ─────────── (GT와 비교)
(DB Hash + Actions)      │
                         ▼
[ 점수 산출 ] ─────────── (JSON 저장 및 Excel 리포트 생성)

Reward = RB_DB × RB_COMMUNICATE × RB_ACTION × RB_ENV_ASSERTION

┌─────────────────────────────────────────────────────┐
│  PASS: Reward == 1.0  (모든 항목 통과)              │
│  FAIL: Reward < 1.0   (하나라도 실패)               │
└─────────────────────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────────────┐
│                         💡 핵심 발견                                │
├─────────────────────────────────────────────────────────────────────┤
│                                                                     │
│  1. DB 불일치가 모든 모델의 #1 실패 원인                            │
│     → Tool Call 파라미터 오류 or 호출 순서 오류                     │
│                                                                     │
│  2. 파라미터 수 ≠ 성능                                              │
│     → 70B, 80B 모델이 32B 모델보다 저조                             │
│     → Tool-use 특화 튜닝 여부가 더 중요                             │
│                                                                     │
│  3. 도메인별 난이도 차이                                            │
│     → Retail: 직관적 (교환/반품) - 상대적 쉬움                      │
│     → Telecom: 복잡한 상태 관리 - 가장 어려움                       │
│                                                                     │
│  4. Qwen 계열이 전반적으로 우수                                     │
│     → Tool-Use에 최적화된 학습 데이터 추정                          │
│     → 32B가 가성비 최고, 14B도 경량 대비 준수                       │
│                                                                     │
│  5. COMMUNICATE는 대부분 통과 (75~87%)                              │
│     → 정보 전달 자체는 잘 하지만 DB 변경에서 실패                   │
│                                                                     │
└─────────────────────────────────────────────────────────────────────┘

cd tau2-bench
./run_quick_450.sh

# 예시: 기존 결과 삭제 후 재실행
FORCE=1 ./run_quick_450.sh

# 예시: 동시 실행 수 줄이기 (503 에러 대응)
MAX_CONCURRENCY=1 DELAY_SEC=2 ./run_quick_450.sh

cd tau2-bench
python3 generate_reports.py \
  --results-root results/latest \
  --input-dir results/latest/simulations \
  --prune

cd tau2-bench
python3 generate_excel_report.py \
  --input-dir results/latest/simulations \
  --output results/latest/전체_요약/TAU2_전체요약_latest.xlsx

# 설치 확인
tau2 check-data

# 1개 태스크 테스트 (연결 확인)
tau2 run \
  --domain retail \
  --agent-llm openrouter/qwen/qwen3-32b \
  --user-llm openrouter/qwen/qwen3-32b \
  --num-tasks 1 \
  --num-trials 1

# 특정 모델 Full 평가
tau2 run \
  --domain retail \
  --agent-llm openrouter/qwen/qwen3-32b \
  --user-llm openrouter/qwen/qwen3-32b \
  --num-trials 4 \
  --task-split base \
  --save-to qwen3-32b_retail

# 결과 뷰어
tau2 view

# 도메인 문서 확인
tau2 domain retail

┌─────────────────────────────────────────────────────────────────────┐
│                        실행 흐름                                    │
├─────────────────────────────────────────────────────────────────────┤
│                                                                     │
│  1. 평가 실행                                                       │
│     ./run_quick_450.sh                                             │
│         ↓                                                          │
│     tau2 run (5개 모델 × 3개 도메인)                                │
│         ↓                                                          │
│     data/simulations/*.json 생성                                   │
│                                                                     │
│  2. 리포트 생성                                                     │
│     python3 generate_reports.py                                    │
│         ↓                                                          │
│     generate_excel_report.py 호출                                  │
│         ↓                                                          │
│     results/latest/전체_요약/TAU2_전체요약_latest.xlsx              │
│                                                                     │
│  3. 결과 확인                                                       │
│     엑셀 파일 열기 → 요약/런/턴 시트 확인                           │
│                                                                     │
└─────────────────────────────────────────────────────────────────────┘

tau2 run (CLI)
    ↓
src/tau2/run.py → Orchestrator.run()
    ↓
┌─────────────────────────────────────────┐
│           Orchestrator                  │
│  ┌─────────┐  ┌─────────┐  ┌─────────┐ │
│  │  Agent  │←→│  User   │←→│   Env   │ │
│  │  (LLM)  │  │  (LLM)  │  │ (Tools) │ │
│  └─────────┘  └─────────┘  └─────────┘ │
└─────────────────────────────────────────┘
    ↓
src/tau2/utils/llm_utils.py → litellm.completion()
    ↓
OpenRouter API