얼마 전, AI에 '1부터 10 사이의 랜덤 숫자를 하나 말해달라'고 요청하면, 꽤 높은 확률로 7이라는 답이 나온다는 글을 읽었습니다. 이어서 다른 숫자를 요청하면 3이나 4가 나오고, 다시 요청하면 8이나 9가 나오는 경우가 많다는 주장이었는데요. 정말 그런지 궁금해져, 가장 대표적인 AI인 챗GPT, 제미나이, 그리고 클로드에 물어봤습니다. 결과는 어땠을까요?
각 AI에 직접 실험한 결과. 글의 주장이 맞았다. 출처: 에디터.
물론, 답이 항상 이렇게 나오지는 않겠지요. 그러나 여러 모델을 반복해서 사용하다 보면 묘한 패턴이 느껴지는데요. 모델들은 정말 무작위로 숫자를 고르고 있는 걸까요, 아니면 '랜덤 숫자'라는 요청에 대해 학습된 전형적인 응답을 재생하고 있는 걸까요?
비슷한 패턴의 답변이 반복되는 현상은 숫자에 한정된 이야기가 아닙니다. 오늘은 논문 Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)라는 연구를 통해, LLM이 개방형 질문에 대해 정말 다양한 답을 만들어내고 있는지, 아니면 서로 비슷한 답으로 수렴하고 있는지를 알아보겠습니다.
정답이 없는 질문에서 드러나는 습관
LLM 벤치마크의 상당 부분은 정답이 있는 문제를 중심으로 설계되어 있습니다. 수학 문제를 맞히는지, 코드를 제대로 생성하는지, 문서에서 사실을 정확히 찾아내는지, 지시를 충실히 따르는지가 주요 평가 대상이지요. 물론 아주 중요한 평가지만, 실제 챗봇 사용의 대부분은 정답이 하나로 정해져 있지 않은 질문입니다. 아래 질문들처럼 말이지요!
새로운 앱 기능을 제안해 줘.
젊은 세대를 위한 금융 서비스를 다시 설계한다면 어떻게 해야 할까?
오키나와 3박 여행 일정을 짜 줘.
이런 질문에는 좋은 답이 여러 개 있을 수 있고, 사람마다 선호하는 답도 다를 수 있는데요. 이번 연구는 open-ended query, 즉 여러 개의 그럴듯한 답을 허용하는 개방형 질문에 집중합니다.
연구진은 이를 위해 INFINITY-CHAT이라는 데이터셋을 만들었습니다. WildChat에서 가져온 실제 사용자 질의 중 영어로 작성됐고, 유해하지 않으며, 단일 턴이고, 길이가 15~200자인 GPT-4 대상 질의 37,426개를 후보로 삼고, GPT-4o를 이용해 개방형인지 폐쇄형인지 분류했지요. 그 결과로 연구진은 26,070개의 개방형 질문과 8,817개의 폐쇄형 질문을 얻었습니다.
또한 연구진은 개방형 질문을 단순히 '창작 글쓰기'로만 좁히지 않았습니다. INFINITY-CHAT은 실제 사용자 질문을 바탕으로 개방형 질의를 6개 상위 범주와 17개 하위 범주로 나눴는데요. 여기에는 창작 콘텐츠 생성, 브레인스토밍과 아이데이션, 대안적 글쓰기 스타일, 가설적 시나리오, 문제 해결, 추천, 개념 설명, 개인 조언, 스킬 개발 등이 포함됐습니다. 이번 연구는 우리가 실제 업무와 일상에서 LLM에게 맡기는 모호하고 생산적인 질문들에서, 모델이 얼마나 넓게 생각하는지를 살펴봅니다.
INFINITY-CHAT의 개방형 질문 분류 체계. 출처: 논문.
Artificial Hivemind란 무엇일까?
논문이 말하는 Artificial Hivemind는 여러 LLM이 독립적인 모델처럼 보이지만, 개방형 질문에 대해 매우 비슷한 답으로 몰리는 현상을 의미하는데요. 연구진은 이 현상을 두 가지 층위로 나눕니다.
- Intra-model repetition (모델 내부 반복성)
같은 모델이 같은 질문에 여러 번 답해도 충분히 다른 답을 만들지 못하는 현상 - Inter-model homogeneity (모델 간 동질성)
서로 다른 모델들이 같은 질문에 대해 독립적으로 비슷한 답을 내는 현상
논문은 특히 두 번째 현상을 중요하게 봅니다. AI 제품을 만들 때 '여러 모델을 함께 사용하면 다양성이 생길 것'이라고 기대하는 경우가 많은데요. 모델들이 비슷한 데이터, 비슷한 정렬(alignment) 목표, 비슷한 평가 기준을 공유한다면, 여러 모델을 조합하더라도 생각만큼 다양한 관점을 얻지 못할 수 있습니다. 연구진은 실제로 모델들이 같은 표현 조각을 공유하거나, 완전히 같은 문장을 생성하거나, 표현은 다르지만 같은 핵심 아이디어로 수렴하는 사례를 포착했습니다.
같은 질문을 반복해도, 모델이 달라도 비슷한 답
연구진은 INFINITY-CHAT에서 대표적인 개방형 질문 100개를 뽑아 여러 모델에 반복해서 물었습니다. 각 모델은 각 질문에 대해 50개의 응답을 생성했고, 연구진은 이 응답들이 의미적으로 얼마나 비슷한지 sentence embedding으로 비교했습니다.
연구진은 모델이 매번 가장 안전한 답만 고르지 않도록, 어느 정도 무작위성이 들어가게 설정했습니다. 참고로 논문에서는 top-p = 0.9, temperature = 1.0을 사용했는데요. 쉽게 말해 모델에게 '매번 조금씩 다르게 답할 여지'를 준 셈입니다. 그런데도 결과는 꽤 뚜렷했습니다. 같은 모델이 만든 응답들의 평균 유사도는 대부분 높았고, 전체 사례의 79%에서 평균 유사도가 0.8을 넘었습니다.
✋🏼여기서 잠깐!
- temperature는 모델이 답을 만들 때 얼마나 과감하게 덜 흔한 선택지를 고를지 조절하는 값입니다. 낮으면 더 안정적이고 익숙한 답이 나오고, 높으면 더 다양하지만 이상한 답이 나올 가능성도 커집니다.
- top-p는 모델이 다음 단어를 고를 때 후보군을 어디까지 열어둘지 정하는 설정입니다. 너무 가능성이 낮은 단어는 제외하고, 남은 후보 안에서 답을 고르게 하는 방식이지요.
같은 LLM에 동일한 개방형 질문을 50번씩 요청했을 때의 응답 유사도. 어느 정도 무작위성을 허용한 생성 설정에서도, 전체 사례의 79%에서 평균 유사도가 0.8을 넘었다. 출처: 논문.
그렇다면 temperature를 더 올리면 되는 건 아니었을까요? 연구진은 다양성을 높이기 위한 다른 생성 방식도 시험했습니다. 하지만 그 경우에도 응답쌍의 81%가 0.7 이상, 61.2%가 0.8 이상의 유사도를 보였습니다. 다양성 문제는 단순히 설정값 하나를 조정한다고 해결되는 문제가 아니라고 해석할 수 있지요.
서로 다른 모델들 사이에서도 흥미로운 결과가 나타났습니다. 연구진은 70개 이상의 공개/비공개 모델을 분석했는데요. 서로 다른 모델들의 응답 간 평균 유사도는 0.71~0.82 범위였습니다. 모델이 달라도 꽤 비슷한 답을 낸다는 결론인데요. 예시를 보면 더 직관적입니다. '시간에 대한 은유를 써 달라'는 질문에 여러 모델은 대부분 '시간은 강(river)이다' 또는 '시간은 직조공(weaver)이다'라는 두 방향으로 몰렸습니다. '슬림핏이면서 볼드한 디자인을 가진 아이폰 케이스 컬렉션을 설명하라'는 요청에는 서로 다른 모델들이 비슷한 표현을 반복했습니다. 완전히 같은 문장을 내놓은 경우도 있었지요. LLM의 답은 단순히 말투만 비슷한 게 아니라, 표현이나 핵심 아이디어가 겹치는 모습을 보였습니다.
사람마다 다른 선호
연구진은 모델의 출력뿐만 아니라, 사람들이 개방형 답변을 어떻게 평가하는지도 함께 살펴봤습니다. 총 31,250개의 인간 주석을 수집했는데요. 어떤 응답이 좋은지 1~5점으로 평가하게 하기도 하고, 두 응답 중 어느 쪽이 나은지 고르게 하기도 했습니다. 각 항목마다 25명의 평가자가 참여했지요. 결과는 어땠을까요?
개방형 질문에 대한 두 응답을 비교했을 때 나타난 인간 평가자들의 선호 분포. 출처: 논문.
개방형 질문에서는 사람들의 선호가 자주 갈렸습니다. 어떤 사람은 A를 더 좋아하고, 어떤 사람은 B를 더 좋아하며, 또 어떤 사람은 둘 다 괜찮다고 봤습니다. 어찌 보면 당연한 결과 같지만, 문제는 현재의 reward model이나 LLM judge가 이런 상황을 잘 다루지 못할 수 있다는 점입니다. 여러 답이 모두 괜찮은데도, 그중 하나만 더 높은 점수를 주고 나머지는 덜 좋은 답처럼 평가할 수 있기 때문인데요. 이런 방식으로 모델을 계속 학습시키면, 모델은 다양한 좋은 답을 탐색하기보다 평가 체계가 선호하는 익숙한 답으로 점점 몰리게 됩니다. 이번 연구는 단순히 '모델이 비슷한 답을 생성한다'는 문제가 아닙니다. 어떤 답을 좋은 답으로 평가하고 보상할 것인가의 문제이기도 하지요.
그렇다면 왜 이런 일이 생길까요? 논문은 원인을 단정하지 않습니다. 다만 몇 가지 가능성은 생각해볼 수 있는데요. 인터넷에 반복적으로 등장하는 표현을 여러 모델이 함께 학습했을 수 있고, instruction tuning이나 합성 데이터가 모델 생태계 전반에 퍼졌을 수도 있습니다. 또 RLHF나 preference tuning이 안전하고 명료하고 무난한 답을 보상하면서, 모델들이 평균적인 응답으로 수렴했을 가능성도 있지요. 이 문제는 하나의 원인이 있다기 보다, 데이터, 학습 목표, 평가 방식, 제품 설계가 함께 만드는 현상에 가깝다고 볼 수 있습니다.
LLM의 품질은 단순히 정답률이나 안전성만으로 설명되지 않습니다. 특히 개방형 질문을 다루는 AI 서비스라면, 답변의 다양성, 중복도, 도메인 적합성, 사용자 선호의 폭까지 함께 평가해야 하지요. 셀렉트스타의 Datumo Platform(다투모 플랫폼)은 평가 질의 생성, 기준 설계, AI 레드티밍, 자동 평가, 결과 분석을 하나의 흐름으로 다루는 올인원 AI 평가 솔루션입니다.
AI가 실제 사용자 상황에서 얼마나 안정적으로, 또 얼마나 유용하게 작동하는지 반복 가능하고 설명 가능한 방식으로 검증하고 싶다면, 다투모 플랫폼을 자세히 알아보세요!
