功能调用评估工具

[ 대화 흐름 예시 ]

Turn 1 (Slot 평가)
  User: "새 계정을 만들고 싶어요."
  Assistant: "성함과 이메일을 알려주시겠어요?" (필수 정보 요청)

Turn 2 (Call 평가)
  User: "이름은 홍길동, 이메일은 hong@example.com 입니다."
  Assistant: tool_calls: create_user(name="홍길동", ...) (함수 호출)

Turn 3 (Completion 평가)
  Tool: {"status": "success"}
  Assistant: "계정 생성이 완료되었습니다." (결과 요약 응답)

[ 입력 데이터 ] ─────────┐
(Query + Tools)         │
                        ▼
[ 평가 대상 모델 ] ─────── (OpenRouter API 호출)
(Response 생성)         │
                        ▼
[ 1차 검증 ] ─────────── (Exact Match 확인)
(정답과 일치 여부)        │
                        ▼
[ 2차 채점 ] ─────────── (LLM-as-Judge: GPT-4.1)
(Rubric 기반 평가)       │
                        ▼
[ 결과 산출 ] ─────────── (TSV 저장 및 Excel 리포트 생성)

KAKAO-FunctionChat-Bench/
├── run_evaluation.py          # [1] 전체 평가 자동화 스크립트
├── quick_test.py              # [2] 빠른 검증용 테스트 스크립트
├── generate_excel_report.py   # [3] Excel 리포트 생성기
├── .env                       # API 키 설정 (git 제외)
│
└── FunctionChat-Bench/
    ├── evaluate.py            # [4] 벤치마크 엔진 (CLI 엔트리)
    ├── config/
    │   └── openai.cfg         # [5] Judge 모델 설정
    └── src/
        ├── api_executor.py        # [6] API 호출 및 재시도 로직
        └── evaluation_handler.py  # [7] LLM-as-Judge 채점 로직

# Dialog (멀티턴) 평가
python evaluate.py dialog \
  --input_path data/FunctionChat-Dialog.jsonl \
  --system_prompt_path data/system_prompt.txt \
  --model "qwen/qwen3-32b" \
  --api_key $OPENROUTER_API_KEY \
  --base_url "https://openrouter.ai/api/v1"

# SingleCall (싱글턴) 평가
python evaluate.py singlecall \
  --input_path data/FunctionChat-Singlecall.jsonl \
  --system_prompt_path data/system_prompt.txt \
  --tools_type all \
  --model "qwen/qwen3-32b" \
  --api_key $OPENROUTER_API_KEY \
  --base_url "https://openrouter.ai/api/v1"

# CallDecision (호출 판단) 평가
python evaluate.py common \
  --input_path data/FunctionChat-CallDecision.jsonl \
  --model "qwen/qwen3-32b" \
  --api_key $OPENROUTER_API_KEY \
  --base_url "https://openrouter.ai/api/v1"