[
  {
    "id": "eval_relation_hours_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.",
    "claim": "해솔 자료실은 수요일에 문을 연다.",
    "state": "가상의 근거: 해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.\n주장: 해솔 자료실은 수요일에 문을 연다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_hours_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.",
    "claim": "해솔 자료실은 화요일에 문을 연다.",
    "state": "가상의 근거: 해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.\n주장: 해솔 자료실은 화요일에 문을 연다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_hours_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.",
    "claim": "해솔 자료실은 목요일에 문을 연다.",
    "state": "가상의 근거: 해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.\n주장: 해솔 자료실은 목요일에 문을 연다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_relation_count_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.",
    "claim": "은빛 상자에는 파란 공이 두 개 있다.",
    "state": "가상의 근거: 은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.\n주장: 은빛 상자에는 파란 공이 두 개 있다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_count_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.",
    "claim": "은빛 상자에는 빨간 공이 두 개 있다.",
    "state": "가상의 근거: 은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.\n주장: 은빛 상자에는 빨간 공이 두 개 있다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_count_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.",
    "claim": "은빛 상자의 무게는 1kg이다.",
    "state": "가상의 근거: 은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.\n주장: 은빛 상자의 무게는 1kg이다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_relation_negation_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.",
    "claim": "나루는 행사에 불참했다.",
    "state": "가상의 근거: 기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.\n주장: 나루는 행사에 불참했다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_negation_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.",
    "claim": "나루는 행사에 참석했다.",
    "state": "가상의 근거: 기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.\n주장: 나루는 행사에 참석했다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_negation_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.",
    "claim": "나루는 행사에서 상을 받았다.",
    "state": "가상의 근거: 기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.\n주장: 나루는 행사에서 상을 받았다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_relation_time_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.",
    "claim": "변경된 회의 시작 시간은 오전 10시다.",
    "state": "가상의 근거: 가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.\n주장: 변경된 회의 시작 시간은 오전 10시다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_time_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.",
    "claim": "변경된 회의 시작 시간은 오전 9시다.",
    "state": "가상의 근거: 가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.\n주장: 변경된 회의 시작 시간은 오전 9시다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_time_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.",
    "claim": "회의는 오전 11시에 끝난다.",
    "state": "가상의 근거: 가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.\n주장: 회의는 오전 11시에 끝난다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_relation_rule_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.",
    "claim": "보라는 이 규정에서 책을 빌릴 수 있다.",
    "state": "가상의 근거: 가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.\n주장: 보라는 이 규정에서 책을 빌릴 수 있다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_rule_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.",
    "claim": "도윤은 이 규정에서 책을 빌릴 수 있다.",
    "state": "가상의 근거: 가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.\n주장: 도윤은 이 규정에서 책을 빌릴 수 있다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_rule_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.",
    "claim": "민재는 이 규정에서 책을 빌릴 수 있다.",
    "state": "가상의 근거: 가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.\n주장: 민재는 이 규정에서 책을 빌릴 수 있다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_relation_exception_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.",
    "claim": "오늘은 문을 닫는다.",
    "state": "가상의 근거: 가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.\n주장: 오늘은 문을 닫는다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_exception_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.",
    "claim": "오늘은 문을 연다.",
    "state": "가상의 근거: 가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.\n주장: 오늘은 문을 연다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_exception_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.",
    "claim": "내일은 점검일이다.",
    "state": "가상의 근거: 가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.\n주장: 내일은 점검일이다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_relation_comparison_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.",
    "claim": "A 봉은 B 봉보다 길다.",
    "state": "가상의 근거: 가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.\n주장: A 봉은 B 봉보다 길다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_comparison_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.",
    "claim": "B 봉은 A 봉보다 길다.",
    "state": "가상의 근거: 가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.\n주장: B 봉은 A 봉보다 길다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_comparison_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.",
    "claim": "A 봉은 B 봉보다 무겁다.",
    "state": "가상의 근거: 가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.\n주장: A 봉은 B 봉보다 무겁다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_relation_scope_supports",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.",
    "claim": "기록된 장치 하나는 시험 1시간 동안 정상 작동했다.",
    "state": "가상의 근거: 가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.\n주장: 기록된 장치 하나는 시험 1시간 동안 정상 작동했다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "supports",
    "rationale": "근거가 해당 주장을 직접 지지한다."
  },
  {
    "id": "eval_relation_scope_refutes",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.",
    "claim": "기록된 장치 하나는 시험 1시간 동안 작동하지 않았다.",
    "state": "가상의 근거: 가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.\n주장: 기록된 장치 하나는 시험 1시간 동안 작동하지 않았다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "refutes",
    "rationale": "근거가 해당 주장과 직접 모순된다."
  },
  {
    "id": "eval_relation_scope_insufficient",
    "task": "evidence_relation",
    "split": "frozen_synthetic_eval_v2",
    "premise": "가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.",
    "claim": "이 제품의 모든 장치는 1년 동안 고장 나지 않는다.",
    "state": "가상의 근거: 가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.\n주장: 이 제품의 모든 장치는 1년 동안 고장 나지 않는다.",
    "question": "제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.",
    "criteria": {
      "supports": "제시된 근거가 주장을 지지한다",
      "refutes": "제시된 근거가 주장과 모순된다",
      "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
    },
    "expected": "insufficient",
    "rationale": "주장의 정보가 근거에 없으므로 결정할 수 없다."
  },
  {
    "id": "eval_route_billing_01",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "한 주문의 결제가 두 번 처리됐습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_billing_02",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "취소한 주문의 환불 금액이 들어오지 않았습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_billing_03",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "영수증 금액과 실제 청구 금액이 다릅니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_billing_04",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "카드 승인 내역을 확인하고 싶습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_billing_05",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "결제한 상품의 세금계산서가 필요합니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_billing_06",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "배송은 완료됐는데 결제 금액만 잘못됐습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_billing_07",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "로그인은 되지만 카드 결제가 거절됩니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_billing_08",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "쿠폰을 적용했는데 정상 가격으로 청구됐습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "billing",
    "rationale": "요청의 해결 대상은 billing 업무다."
  },
  {
    "id": "eval_route_shipping_01",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "택배가 예정일을 지나도 도착하지 않았습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_shipping_02",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "운송장 번호가 조회되지 않습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_shipping_03",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "배송지를 다른 주소로 변경하고 싶습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_shipping_04",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "배송 완료라고 나오지만 물건을 받지 못했습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_shipping_05",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "주문한 물건이 다른 집으로 배달됐습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_shipping_06",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "결제는 정상 처리됐으나 배송이 멈췄습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_shipping_07",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "계정에는 접속할 수 있는데 배송 상태가 보이지 않습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_shipping_08",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "택배가 언제 도착하는지 알려주세요.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "shipping",
    "rationale": "요청의 해결 대상은 shipping 업무다."
  },
  {
    "id": "eval_route_access_01",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "비밀번호를 잊어 계정에 접속할 수 없습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  },
  {
    "id": "eval_route_access_02",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "인증 코드를 받지 못해 로그인할 수 없습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  },
  {
    "id": "eval_route_access_03",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "계정 잠금 해제를 요청합니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  },
  {
    "id": "eval_route_access_04",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "로그인에 사용하는 이메일 주소를 바꾸고 싶습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  },
  {
    "id": "eval_route_access_05",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "새 휴대전화에서 계정 인증이 실패합니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  },
  {
    "id": "eval_route_access_06",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "환불은 완료됐는데 계정에 로그인할 수 없습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  },
  {
    "id": "eval_route_access_07",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "배송은 완료됐지만 비밀번호 재설정 링크가 만료됐습니다.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  },
  {
    "id": "eval_route_access_08",
    "task": "intent_routing",
    "split": "frozen_synthetic_eval_v2",
    "state": "아이디를 찾는 방법을 알려주세요.",
    "question": "이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.",
    "criteria": {
      "billing": "결제, 환불, 청구, 결제 증빙",
      "shipping": "배송, 주소, 운송장, 배달 상태",
      "access": "계정, 로그인, 비밀번호, 인증"
    },
    "expected": "access",
    "rationale": "요청의 해결 대상은 access 업무다."
  }
]