Ko-H5 벤치마크 Ko-H5 Benchmark
Open Ko-LLM Leaderboard Ko-H5 · Ko-H5
Ko-H5 벤치마크는 공개 한국어 LLM을 여러 한국어 능력 과제로 비교하고 비공개 시험 세트로 데이터 오염 위험을 줄이려 한 평가 묶음이다.
개념과 원리
섹션 제목: “개념과 원리”한국어 공개 리더보드 평가군
섹션 제목: “한국어 공개 리더보드 평가군”Ko-H5는 Open Ko-LLM Leaderboard 원시즌에서 사용한 다섯 과제의 평가 묶음이다. Ko-ARC, Ko-HellaSwag, Ko-MMLU, Ko-TruthfulQA, Ko-CommonGen v2로 구성되며, 마지막 과제까지 모두 객관식 지식 문제인 것은 아니다. ACL 2024 논문은 영어 리더보드와의 비교 가능성을 지향하면서 비공개 시험을 통해 직접적인 평가 데이터 노출을 줄이는 구성을 설명한다.
후속 Open Ko-LLM Leaderboard2는 기존 과제를 새 과제로 교체했다. 따라서 현재 접한 한국어 리더보드의 이름이 같거나 유사하더라도 Ko-H5의 다섯 과제를 그대로 실행했다고 추정하지 않는다. 결과를 인용할 때 시즌, 과제 목록, 모델 리비전, 평가 설정과 집계 방식부터 확인한다. 이 구분은 2024~2025년 원 논문의 내용 누락을 보완한 것이며 2026년 새 벤치마크 발표를 뜻하지 않는다.
공통 하네스와 집계
섹션 제목: “공통 하네스와 집계”제출 모델은 정해진 실행 환경과 프롬프트에서 과제별 평가를 거치고 결과가 리더보드에 집계된다. 모델 파일·토크나이저·채팅 템플릿과 출력 파싱이 모두 재현성에 영향을 준다. 과제별 점수를 정규화하거나 평균할 때에는 방향, 척도와 표본 수를 명시하고 비공개 세트의 무결성과 접근 통제를 유지해야 한다.
처리 흐름은 입력 수집, 전제 검사, 핵심 변환, 결과 복원과 검증으로 나눈다. 이 문서에서는 특히 공통 실행기에서 모델별 입력 직렬화와 출력 파싱을 검증하고 과제 점수의 방향·척도를 맞춰 집계한다. 각 단계의 입력·출력 자료형과 실패 상태를 남기면 Ko-H5 벤치마크 구현을 바꾸더라도 같은 사례에서 최초 차이가 생긴 위치를 찾을 수 있다.
순위 해석
섹션 제목: “순위 해석”Ko-H5 원시즌과 후속 시즌2의 점수·순위는 평가 과제가 바뀌었으므로 하나의 연속 시계열로 연결하지 않는다. 같은 시즌 안에서도 모델 크기, 기반 모델과 지시 조정 모델, 채팅 템플릿·평가 설정이 다른 결과는 비교 조건을 명시한다. 종합 평균이 같아도 과제별 벡터가 다르면 업무 적합성이 달라질 수 있다.
ACL 2024 논문의 상관 분석에서는 Ko-ARC·Ko-HellaSwag·Ko-MMLU 사이의 상관과 Ko-TruthfulQA·Ko-CommonGen v2의 다른 양상이 관찰된다. 이는 여러 점수가 항상 독립적인 능력 측정치는 아니라는 근거이며, 모든 후속 모델에 동일한 상관계수를 보장하지 않는다. 작은 차이를 해석할 때에는 반복·불확실성 분석을 추가하고 실제 업무의 품질·안전·지연·비용을 별도로 평가한다.
리더보드 최적화
섹션 제목: “리더보드 최적화”공개 리더보드는 반복 제출과 커뮤니티 공유를 통해 간접적으로 시험 세트에 맞춰질 수 있다. 비공개 데이터도 원천 자료가 사전학습에 포함되었거나 평가 운영이 노출되면 완전한 독립성을 보장하지 않는다. 집계 점수는 장문 생성·도구 사용·안전·실제 서비스 지연과 비용을 반영하지 않으며 모델 이름만으로 동일 체크포인트를 식별하기 어렵다.
안전한 실패 경계를 만들기 위해 반복 제출의 메타 과적합, 원천 사전학습 누출, 모델 이름과 실제 아티팩트 불일치를 실패로 감사한다. 결과가 자연스럽게 보이거나 오류 없이 반환됐다는 이유만으로 정확성·공정성·개인정보 보호까지 확보됐다고 해석하지 않는다. 피해가 크거나 근거가 부족한 사례는 자동 보정하지 않고 보류·사람 검토로 보낸다.
활용과 검증
섹션 제목: “활용과 검증”모델 선정에 쓰는 방법
섹션 제목: “모델 선정에 쓰는 방법”평가 날짜와 리더보드 버전, 모델 리비전, 양자화·채팅 템플릿을 기록한다. Ko-H5 상위 모델을 후보로 좁힌 뒤 실제 업무 데이터에서 품질·안전·지연·비용을 다시 측정한다. 제출 빈도나 공개 점수만 목표로 학습하지 않고 비공개 내부 회귀 세트와 사람 평가를 유지하며 데이터 계보를 감사한다.
운영 환경에서는 후보 선별 뒤 내부 비공개 데이터에서 품질·안전·지연·비용을 재검증하고 버전별 추세를 분리한다. 기준선을 먼저 저장하고 제한된 트래픽에서 변경 효과를 관측한 뒤 확대한다. 데이터·표준·모델·코드 중 하나가 바뀌면 같은 회귀 세트를 다시 실행하고, 개선 폭이 추가 비용과 잔여 위험을 상쇄하지 못하면 롤백한다.
개별 벤치마크와의 관계
섹션 제목: “개별 벤치마크와의 관계”Ko-H5는 여러 과제를 운영·집계하는 리더보드 평가군이고 KMMLU·KLUE·KorQuAD는 각기 다른 데이터와 과제 정의를 가진 개별 벤치마크다. 비공개 시험은 오염 위험을 줄이지만 모든 누출을 제거하지 않는다. 다국어 평가 프로토콜은 한국어 점수를 다른 언어와 비교할 때 보고 단위와 최악 집단을 맞추는 방법을 제공한다.
학습 확인에서는 종합 순위와 업무 과목이 충돌할 때 선택 기준, 비공개 시험도 오염을 완전히 막지 못하는 이유를 설명한다. 정의를 외우는 데서 멈추지 않고 입력·처리·출력, 비교 기준과 중단 조건을 사례로 제시해야 한다. 관련 문서와의 차이를 설명하고 한 번의 성공 사례를 전체 한국어·다국어 입력으로 일반화하지 않는 이유까지 답할 수 있어야 한다. 답안에는 사용한 근거의 날짜와 적용 범위, 정상·경계·실패 반례, 사람이 다시 검토할 조건과 결과를 재현하는 데 필요한 설정을 함께 적는다.
문서 관계
섹션 제목: “문서 관계”선행 개념
섹션 제목: “선행 개념”관련 문서
섹션 제목: “관련 문서”이 문서를 가리키는 문서
섹션 제목: “이 문서를 가리키는 문서”이 문서를 포함하는 코스
섹션 제목: “이 문서를 포함하는 코스”참고와 다음 학습
섹션 제목: “참고와 다음 학습”참고 문헌
섹션 제목: “참고 문헌”- Open Ko-LLM Leaderboard: Evaluating Large Language Models in Korean with Ko-H5 Benchmark - paper
- Open Ko-LLM Leaderboard and Ko-H5 Benchmark (arXiv) - paper
- Open Ko-LLM Leaderboard - documentation
- Open Ko-LLM Leaderboard: Evaluating Large Language Models in Korean with Ko-H5 Benchmark (ACL 2024) - paper
- Open Ko-LLM Leaderboard2 (arXiv v3) - paper
코스에서 계속 읽기
섹션 제목: “코스에서 계속 읽기”- 한국어·다국어 AI: 코스 목록으로 돌아가기