셀렉트스타 소속 연구진이 참여한 AI 신뢰성·안전성 관련 논문 5편이 세계적인 자연어처리 학술대회 EMNLP 2026에 채택되었습니다. 올해 학회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열립니다.
이번에 채택된 논문은 메인 콘퍼런스 1편, Findings 1편, 워크숍 3편으로, 인간과 AI의 응답 특성부터 금융·문화 분야에 특화된 AI 안전성까지 다양한 주제를 다루고 있습니다. 특히 올해 메인 콘퍼런스의 논문 채택률은 15.4%에 그칠 만큼 경쟁이 치열했는데요. 이번에는 그중 메인 콘퍼런스에 채택된 연구를 자세히 소개합니다.
같은 시험에서 80점을 받은 두 사람이 있다고 가정해 보겠습니다. 두 사람의 점수는 같지만, 틀린 문제와 선택한 오답까지 같을까요?
어떤 사람은 문법 문제를 어려워하고, 다른 사람은 긴 지문의 내용을 이해하는 데 어려움을 겪을 수 있습니다. 같은 문제를 틀리더라도 서로 다른 선택지를 고를 수도 있겠죠.
AI가 시험을 본다면 어떨까요? 잘 알려져 있듯 AI도 때로는 사실과 다른 답변을 하거나 문제를 틀립니다. 그래서 AI의 성능을 평가하는 대표적인 방법 중 하나는 시험 문제를 풀게 하고 얼마나 많은 문제를 맞혔는지 확인하는 것입니다.
그렇다면 AI와 사람이 같은 시험을 봤을 때, 정답뿐 아니라 오답 선택까지 비교해 보면 어떨까요? 인간과 AI의 정답·오답 선택 패턴에서는 어떤 차이가 나타날까요?
이러한 질문에서 출발한 연구를 담은 논문 'When Accuracy Aligns and Fails: Diagnosing Human–LLM Response Alignment at Population Scale'가 세계적인 자연어처리 학술대회 EMNLP 2026 메인 콘퍼런스(Main Conference)에 채택되었습니다.
이번 논문에는 셀렉트스타 AI Safety 3팀의 최혜지 연구원이 공동 제1저자로 참여했으며, 연세대학교 소속 연구진 총 7명이 공동 연구를 수행했습니다. 특히 올해 EMNLP는 메인 콘퍼런스 논문 채택률이 15.4%에 그칠 만큼 경쟁이 치열했는데요.
연구에 참여한 최혜지 연구원을 만나 연구의 배경부터 흥미로운 실험 결과, AI 신뢰성 평가 기술로의 확장 가능성까지 들어봤습니다.
정확도만으로 충분할까?
Q. 먼저 간단한 자기소개와 함께 현재 담당하고 계신 업무를 소개해 주세요.
안녕하세요. 셀렉트스타 AI Safety 3팀에서 AI 안전성 평가와 관련된 연구를 진행하고 있는 최혜지입니다.
AI에서 발생할 수 있는 다양한 위험 요소를 발굴하고, 이를 체계적으로 평가할 수 있는 벤치마크와 평가 파이프라인을 구축하는 업무를 담당하고 있습니다.
EMNLP2026 메인 콘퍼런스 채택 논문 'When Accuracy Aligns and Fails: Diagnosing Human–LLM Response Alignment at Population Scale'에 참여한 셀렉트스타 최혜지 연구원
Q. 이번 연구는 어떤 문제의식에서 시작되었나요?
기존에는 LLM의 능력을 평가할 때 ‘정확도’를 가장 대표적인 지표로 사용해 왔습니다. 저희도 평가 연구를 진행하면서 정확도나 재현율, F1 Score 같은 지표를 많이 활용했고요. 그런데 단순히 정답률이 높다는 사실만으로 AI를 평가하는데 한계가 있지 않을까하는 생각에서 이번 연구를 시작하게 되었습니다.
예를 들어 두 가지의 AI 모델이 같은 시험에서 80점을 받았다고 하더라도 어떤 문제를 맞히고 틀렸는지, 그리고 틀린 문제에서 어떤 선택지를 골랐는지는 다를 수 있거든요. 기존의 정확도 중심 평가로는 이러한 차이를 충분히 확인하기 어렵습니다.
그래서 이번 연구에서는 AI가 정답을 얼마나 잘 맞히는지뿐 아니라, 인간과 얼마나 비슷한 정답·오답 선택 패턴을 보이는지 분석하고자 했습니다. 이를 통해 정확도만으로 설명하기 어려운 AI의 응답 특성을 더욱 세밀하게 진단할 수 있는 평가 방법론을 제시하는 것이 목표였습니다.
인간과 AI의 응답을 비교하는 새로운 평가 프레임워크 'CAPE'
Q. 논문의 핵심 개념인 'Human–LLM Response Alignment'는 무엇인가요?
쉽게 설명하면 AI가 문제를 풀었을 때 나타나는 응답 패턴이 인간 집단의 응답 패턴과 얼마나 유사한지를 살펴보는 개념입니다.
예를 들어 수능 국어 문제에서 정답이 ①번인데, 문제를 틀린 수험생의 절반이 ③번을 선택했다고 가정해 볼게요. AI 역시 같은 문제에서 ③번을 많이 고른다면, 인간과 유사한 오답 선택 패턴을 보인다고 해석할 수 있습니다.
단순히 문제를 맞혔는지 틀렸는지만 확인하는 것이 아니라, 사람들이 어떤 선택지를 얼마나 많이 골랐고 AI는 어떤 응답을 보였는지 비교하는 것이죠.
*다만 인간과 AI가 비슷한 답을 선택했다고 해서 실제 사고 과정까지 같다는 의미는 아닌, 어떤 유사성과 차이가 나타나는지 분석한 연구입니다.
Q. 이러한 응답 패턴은 어떤 방법으로 평가했나요?
이번 연구에서는 CAPE(Choice-Distribution Alignment and Performance Evaluation)라는 평가 프레임워크를 제안했습니다.
CAPE는 인간과 AI의 응답을 크게 두 가지 관점에서 비교합니다. 첫 번째는 어떤 문제를 어렵게 느끼고 얼마나 정확하게 해결하는지 살펴보는 것이고, 두 번째는 실제로 어떤 선택지를 고르는지 비교하는 것입니다.
이를 위해 네 가지 평가 지표를 사용했습니다.
4가지의 평가 지표 (출처: 논문)
이번 연구에서 주목한 지표는 오답 선택 유사성(DA)입니다. AI가 사람과 비슷한 비율로 정답을 맞혔다고 해도, 틀렸을 때 어떤 오답을 골랐는지는 전혀 다를 수 있습니다. DA는 정답 선택지를 제외하고 오답들 사이의 선택 비율만 비교하기 때문에, AI가 틀린 상황에서도 인간과 비슷한 선택을 하는지 확인할 수 있습니다.
이처럼 정답률뿐 아니라 오답 선택까지 살펴보면 AI가 어떤 부분에서 인간과 비슷하고, 어떤 부분에서 다른지 더욱 구체적인 특성을 이해할 수 있습니다.
약 30만 명의 수능 응답 데이터로 AI를 평가하다
Q. 인간과 AI의 응답을 비교하기 위해 어떤 데이터를 활용하셨나요?
인간 집단과 AI를 비교하려면 먼저 충분한 규모의 인간 응답 데이터가 필요합니다. 저희가 선택한 것은 대학수학능력시험과 모의평가의 국어 영역 문항이었습니다. 수능은 많은 사람이 동일한 문항을 풀고, 선택지별 응답 통계도 확보할 수 있다는 장점이 있기 때문입니다.
연구에는 2020년부터 2024년까지의 수능 및 한국교육과정평가원 모의평가에서 수집한 609개 국어 문항을 활용했습니다. 인간 응답 데이터는 메가스터디에서 제공하는 문항별 약 30만 명 규모의 수험생 선택 통계를 사용했습니다. 그리고 GPT, Claude, Gemini, CLOVA, Llama, Qwen 등 다양한 계열의 16개 LLM에 동일한 문제를 풀게 했습니다. 이를 바탕으로 인간과 AI가 각각 어떤 문항을 맞혔는지, 어떤 오답을 선택했는지 등을 비교한 것이죠.
*해당 통계는 전체 수험생의 공식 통계가 아닌 해당 입시 플랫폼 이용자의 응답을 기반으로 한다는 점은 고려해야 합니다.
여기에 교육학에서 활용하는 블룸의 인지 분류체계(Bloom's Taxonomy)도 적용했습니다. 블룸의 분류체계는 사람이 지식을 활용하는 방식을 기억하기, 이해하기, 적용하기, 분석하기, 평가하기, 창조하기 등 여섯 가지 수준으로 구분한 체계입니다. 연구에서는 실제 국어 교사 두 분이 609개 문항을 이러한 인지 분류체계에 따라 분류했고, 이를 통해 AI가 어떤 유형의 문제에서 인간과 비슷하거나 다른 모습을 보이는지 살펴봤습니다.
AI는 단순한 암기 문제에서도 사람처럼 틀릴까?
Q. 이번 연구에서 가장 흥미로웠던 결과는 무엇이었나요?
먼저 전체적으로 정확도가 높은 AI 모델일수록 정답뿐 아니라 오답을 선택하는 패턴도 인간과 비슷한 경향을 보였습니다.
16개 모델을 비교했을 때, 정확도와 전체 선택지 응답 정렬(PA)의 상관계수는 약 1.00, 정확도와 오답 선택 정렬(DA)의 상관계수는 0.90으로 나타났습니다. 이는 정확도가 높은 모델일수록 정답을 더 많이 맞힐 뿐 아니라, 오답을 선택할 때도 인간이 선택할 법한 오답을 고르는 경향이 있었다는 의미입니다.
모델 정확도와 응답 정렬 지표의 관계. 정확도가 높을수록 DA와 PA도 높아지는 경향을 보였다. (출처: 논문)
다만 PA는 정답 선택이 포함된 지표이기 때문에 정확도와 밀접하게 연결되는 구조적 특성이 있습니다. 따라서 저희는 정답을 제외한 DA를 함께 살펴보는 것이 중요하다고 판단했습니다.
또 하나 흥미로웠던 것은 블룸의 인지 분류체계에 따른 결과였습니다.
일반적으로 LLM은 방대한 데이터를 학습하기 때문에 단순한 지식을 기억하는 문제에 강할 것이라고 생각했지만, 실제 결과에서는 오히려 '기억하기(Remembering)' 영역에서 인간과 AI의 정답률 차이가 가장 크게 나타났습니다. 해당 영역의 인간 정답률은 71.5%였지만, 16개 AI 모델을 종합한 정답률은 37.5%로 34.0%p의 차이가 있었습니다. 일부 문항에서는 정답을 잘 맞히지 못하더라도, 오답을 고르는 패턴은 인간과 매우 비슷한 모습을 보였습니다.
Q. 실제로 인간과 AI가 비슷하게 틀린 사례가 있었나요?
중세국어의 문법적 용법을 판단하는 문항이 대표적인 사례입니다. 이 문제에서 인간 수험생의 정답률은 84%였지만, 16개 AI 모델 중 정답을 맞힌 모델은 3개로 정답률이 18.8%에 불과했습니다.
그런데 오답을 자세히 살펴보니 흥미로운 결과가 나타났습니다. 문제를 틀린 인간 수험생의 약 50%가 특정 오답을 선택했는데, 틀린 AI 모델에서도 약 53.8%가 같은 오답을 선택한 것입니다. (문제를 틀린 AI 모델 13개 중 7개가 인간과 같은 오답을 선택)
정답을 맞히는 능력에서는 큰 차이가 있었지만, 틀렸을 때 어떤 선택지에 이끌렸는지는 상당히 유사한 모습을 보인 셈이죠. 이 문항의 오답 선택 정렬(DA) 점수는 0.989로, 1에 가까울수록 유사성이 높다는 점에서 상당히 높은 수치였습니다.
Q. 반대로 정답률은 높지만, 인간과 다르게 틀린 사례도 있었나요?
글의 초안과 수정본을 비교해 어떤 수정 사항이 반영되지 않았는지 찾는 문제에서 그런 경향을 보였습니다. 이 문제에서 인간의 정답률은 90.1%, AI 모델들의 정답률도 75.0%로 비교적 높게 나타났습니다. 하지만 오답을 자세히 살펴보니 인간과 AI가 가장 많이 선택한 오답은 서로 달랐습니다.
또한, 이해하기·적용하기·분석하기 영역에서는 정확도가 높은 모델일수록 인간과 유사한 오답을 선택하는 경향이 비교적 뚜렷했습니다. 반면 여러 기준을 바탕으로 판단해야 하는 '평가하기' 영역에서는 이러한 관계가 상대적으로 약하게 나타났습니다. *단, 해당 결과는 추가 연구를 통해 확인할 필요가 있는 분석 결과로 해석했습니다.
중세국어 문법 문제(기억하기)와 글쓰기 수정 사항 판단 문제(평가하기)에 대한 인간과 AI의 응답을 비교한 표. 숫자는 ①~⑤번 선택지를 고른 비율(%)이며, 굵게 표시된 숫자는 정답을 선택한 비율이다. 인간은 문항별 약 30만 명의 수험생 응답 통계, AI는 16개 모델의 응답 결과를 기준으로 했다. (출처: 논문)
사람과 비슷하게 틀리는 AI가 더 좋은 AI일까?
Q. 그렇다면 사람과 비슷하게 판단하거나 틀리는 AI가 더 좋은 AI라고 할 수 있을까요?
AI가 인간과 비슷한 오답을 선택한다고 해서 반드시 더 우수한 모델이라고 말할 수는 없습니다. 반대로 인간과 다른 응답을 보인다고 해서 성능이 떨어진다고 판단할 수도 없고요. 이번 연구에서 강조하고 싶은 부분도 이런 부분이었습니다. 특히 인간과 응답 패턴이 유사하다는 사실이 AI의 실제 사고 과정까지 인간과 같다는 의미는 아닌 것을 확인할 수 있었죠.
저희가 제시한 프레임워크는 어떤 AI가 더 우수한지 순위를 매기기 위한 것이 아니라, 기존의 정확도만으로 확인하기 어려웠던 모델의 특성을 더 다양한 관점에서 분석하기 위한 방법론입니다.
더불어 AI 모델을 평가할 때 어떤 기준으로 평가하는지가 중요하다고 생각합니다. 예를 들어 교육 분야에서는 AI가 학습자와 비슷한 실수 패턴을 보이는지 파악하는 것이 의미 있을 수 있습니다. 하지만 반드시 정답을 정확하게 제공해야 하는 서비스에서는 인간과 비슷하게 틀리는 것 자체가 바람직한 특성은 아닐 수 있으니까요.
결국 이번 연구는 AI가 더 인간다워야 한다고 주장하는 것이 아니라, AI의 능력을 더욱 정확하게 이해하기 위해 평가하는 관점을 넓혀야 한다는 점을 이야기하고 있습니다.
EMNLP에서 인정받은 연구의 차별성
Q. 이번 연구가 EMNLP 메인 콘퍼런스에 채택될 수 있었던 차별성은 무엇이라고 생각하시나요?
기존에도 수능이나 국가별 표준화 시험을 활용해 LLM의 성능을 평가하는 연구는 있었습니다. 하지만 저희는 AI의 정담률, 정확도뿐 아니라 문항별 난이도 패턴, 전체 응답 분포, 오답 선택 분포를 구분해 분석할 수 있는 평가 프레임워크를 제시했다는 점에서 차별성이 있다고 생각합니다.
심사 과정에서도 기억에 남았던 피드백이 있는데요. 이번 연구의 접근 방식이 계량심리학에서 사용하는 분석 방법론과 유사하며, 다른 학문 분야의 분석 방법을 LLM 평가에 적용한 점이 흥미롭다는 평가였습니다. 기존의 AI 성능 평가를 넘어 인간 집단의 응답 통계를 활용해 모델의 성공과 실패 패턴을 함께 살펴본 점이 의미 있게 받아들여졌던 것 같습니다.
또 한 가지는 다른 국가나 언어로 연구를 확장할 수 있다는 점입니다. 이번 연구에서는 한국의 수능 데이터를 활용했지만, 다른 국가에서도 객관식 평가 문항과 인간의 선택지별 응답 통계를 충분히 확보할 수 있다면 같은 방법론을 적용할 수 있습니다. 이를 통해 국가나 언어별로 AI가 현지인과 얼마나 유사한 응답 패턴을 보이는지 비교하는 연구도 가능할 것으로 기대하고 있습니다.
Q. 이번 연구 방법론이 셀렉트스타의 AI 신뢰성 평가에 어떻게 적용되나요?
AI 신뢰성 평가에서는 모델이 무엇을 잘하는지 확인하는 것도 중요하지만, 무엇을 잘하지 못하는지, 어떤 상황에서 어떤 오류를 보이는지 정밀하게 분석하는 것도 중요하다고 생각합니다.
예를 들어 어떤 모델이 문제를 틀렸을 때, 단순히 정답을 맞히지 못했다는 결과에서 그치는 것이 아니라 인간도 자주 빠지는 함정과 비슷한 오류를 보이는지 살펴볼 수 있습니다. 이러한 분석을 활용하면 모델의 취약점이나 오류 유형을 더 세밀하게 진단하고, 이를 평가 리포트 형태로 제공하는 것도 가능할 것으로 기대합니다.
또, 에듀테크 분야에도 적용할 수 있을 것 같아요. 교육용 AI가 학습자들이 어떤 부분에서 자주 실수하는지, 실제 학생들과 얼마나 유사한 응답 패턴을 보이는지 분석한다면 교육 서비스의 특성을 평가하는 새로운 방법이 될 수 있을 것입니다.
국가별 표준화 시험 데이터를 활용할 수 있다는 점에서, 앞으로 언어나 문화적 배경에 따른 AI의 응답 특성을 분석하는 데에도 확장 가능성이 있다고 생각합니다.
AI를 더 정확하게 이해하기 위한 새로운 평가의 출발점
AI 모델의 성능이 빠르게 발전하면서 기존의 정확도 중심 평가만으로는 모델의 특성을 충분히 설명하기 어려워지고 있습니다.
이번 연구는 인간 집단의 응답 데이터를 활용해 AI의 정답과 오답 선택 패턴을 정량적으로 비교하고, 기존의 성능 평가를 보완할 수 있는 새로운 방법론을 제시했다는 데 의미가 있습니다. 특히 이번 연구에서 제안한 CAPE는 객관식 문항과 선택지별 인간 응답 통계가 확보된다면 다른 언어와 분야의 평가에도 적용할 수 있는 구조를 갖추고 있습니다.
물론 이번 연구가 실제 안전성 평가에 적용하기 위해서는 추가적인 데이터 확보와 연구가 필요합니다. 그럼에도 AI의 정답률만으로는 확인하기 어려웠던 응답 특성을 분석할 수 있다는 점에서, 이번 연구는 더욱 정교한 AI 신뢰성 평가 기술을 개발하기 위한 의미 있는 출발점이라고 할 수 있습니다.
셀렉트스타는 앞으로도 AI의 성능과 안전성을 다각도로 검증할 수 있는 평가 기술을 연구하며, 신뢰할 수 있는 AI 환경을 구축하는데 앞장서 나가겠습니다.
