1편이 국어의 규칙을 봤다면, 이번에는 한국 사람이 쓰기에 걸리는 데가 없을 만큼 한국의 맥락을 아는지 확인했습니다. 먼저 문제 하나를 볼까요?

갑, 을, 병, 정 네 사람은 모두 같은 항렬의 4촌이다. 을의 아버지는 갑의 아버지의 형이다. 병의 어머니는 갑의 아버지의 누이이다. 정의 어머니는 갑의 어머니의 언니이다. 을, 병, 정이 각각 갑을 부르는 친족 호칭을 순서대로 답하시오.

호칭이 바로 떠오르시나요? 정답과 모델들의 답은 조금 뒤에 확인해 보겠습니다.

한국에 대해 묻는 공개 벤치마크는 이미 있습니다. 국가 자격시험 문항으로 만든 KMMLU-Pro, 한국 문화와 언어 상식을 묻는 CLIcK가 대표적이고 이 두 시험으로도 모델의 순위는 나와요. 다만 둘 다 한국에 대해 얼마나 아는지를 확인하는 데 가깝습니다. 앞의 문제는 호칭 하나하나는 상식이지만 같은 항렬, 아버지의 형, 어머니의 언니라는 조건을 엮어야 답이 나옵니다. 연구팀은 이렇게 아는 것을 한국의 맥락 안에서 엮어 답하는 힘을 보고자 했습니다.

비슷한 고민은 영어권에서 먼저 나왔습니다. 대표적인 지식 벤치마크 MMLU에서 최신 모델들이 90%를 넘기자, 차이를 가려낼 더 어려운 시험으로 HLE(Humanity's Last Exam)가 나왔지요. 분야별 전문가들이 만든, 검색만으로는 바로 답하기 어려운 고난도 문항입니다. 다만 영어로 된 시험이라 번역해도 질문 속 인물과 배경은 그대로 남습니다. 그리스 신화 속 인물의 계보를 한국어로 묻는 건 한국에 관한 지식을 평가하는 게 아니죠. 그래서 연구팀은 HLE의 문항 유형을 가져오되 배경을 한국의 역사와 제도, 관계로 바꾼 주관식 K-HLE 252문항을 직접 만들었습니다. 앞의 사촌 호칭 문제도 그중 하나입니다.

HLE 원문 유형 In Greek mythology, who was Jason's maternal great-grandfather?

한국 맥락 재구성 『삼국사기』에 따르면 김유신의 증외조부는 누구인가?

세 과목의 정답률은 아래와 같습니다.

K-HLE는 주관식 문항으로 구성되어 있어 AI 판정 모델(GPT-5-mini)이 기준 정답과 비교해 채점했습니다. 다만 GPT-5.5는 동일 계열 모델 간 발생할 수 있는 평가 편향을 고려해 별도의 판정 모델을 사용했습니다.

공개 벤치마크에서는 상위 모델들의 점수가 이미 90% 안팎에 모여 있어 차이를 가리기 어렵습니다. 반면 K-HLE에서는 점수가 훨씬 넓게 벌어졌고 순위는 KMMLU-Pro와 그대로였습니다. 기존 벤치마크와 같은 방향을 가리키면서 차이를 더 또렷하게 드러낸 셈입니다. 국산 모델 중에서는 B사 모델이 세 과목 모두 A사 모델보다 11~14%p 낮았고 A사 모델은 같은 방식으로 서빙한 DeepSeek-V4-Flash와 과목마다 2%p 안쪽에서 엎치락뒤치락했습니다. 두 국산 모델 모두 GPT-5.5와 Sonnet 5에는 미치지 못했습니다.

처음 문제, 모델들은 어떻게 답했을까

이제 처음 문제로 돌아가 볼까요? 정답은 친사촌, 외사촌, 이종사촌입니다. A사 모델은 정답을 맞혔습니다. B사 모델은 '같은 항렬'이라는 조건을 놓쳐 한 세대 위 호칭(재당숙, 외당숙)을 답하고도 "세 사람 모두 같은 항렬에 부합한다"는 검증 문장까지 덧붙였는데요. Sonnet 5는 관계는 알았지만 "병이 갑을 부르는 호칭"을 "갑이 병을 부르는 호칭"으로 뒤집어 답했습니다. 점수표에서는 똑같은 오답 하나지만 조건을 놓친 오답과 질문의 방향을 바꾼 오답은 고쳐야 할 지점이 다르지요.

모든 문항에서 A사 모델이 앞선 건 아닙니다. 배우 여섯 명의 드라마 공동 출연 관계를 그래프로 따지는 문항에서는 B사 모델이 맞히고 A사 모델과 Sonnet 5는 틀렸습니다. 모델들이 같은 자리에서 틀린 문항도 있었습니다. 『삼국유사』 네 조목에서 직접 언급되지 않는 십이지 동물을 묻자, 문항별 응답을 확인한 네 모델 모두 본문에 나오는 쥐를 답에 넣었습니다. 사료 대신 이야기의 인상에 기대 답한 것이지요. 한국의 사료와 문화, 관계를 실제로 알아야 하는 문항은 아직 어느 모델에게도 풀린 시험이 아니었습니다.