지난 12일, 세상을 뜨겁게 달군 소식이 있습니다. 바로 OpenAI가 새롭게 발표한 OpenAI o1인데요. 이전 모델에 비해서 무엇이 달라졌는지, OpenAI가 공개한 기술 보고서를 기반으로 알아보도록 하겠습니다.
논리, 수학 문제 풀이 등의 추론(Reasoning) 능력은 이전 모델의 약점으로 꼽혔습니다. 심지어 GPT-4o에서도 ‘Strawberry’에 쓰인 ‘r’의 개수를 추론하는 단순한 문제도 틀리며 논란이 되기도 했습니다. 그러나 이번 o1 모델은 비약적으로 추론 능력이 개선됐습니다. 벤치마크를 기준으로, 프로그래밍 경진대회 플랫폼인 Codeforces에서 상위 11%에 해당하는 뛰어난 성적을 거두고 미국 수학 올림피아드 예선전인 AIME에서 미국 내 상위 500명 학생들과 견줄 만한 성과를 보였습니다. 게다가 물리학, 생물학, 화학 문제를 포함한 GPQA 벤치마크에서도 인간 박사 수준의 정확도를 능가하는 결과를 보여주었습니다.
‘DOOM’ 게임 포스터 | 출처: Epic Games
그렇다면 o1은 무엇이 달라졌을까요? o1의 비약적인 추론 능력 향상의 배경에는 Chain of Thought이라고 불리는 접근 방식이 있습니다. 이 방법은 2022년 초에 발표된 논문 <Chain-of-Thought Prompting Elicits Reasoning in Large Language Models> (Wei et al., 2024)에서 제안됐습니다. 프롬프트 엔지니어링에 관심 있는 분들이라면 한 번씩 들어봤을 법한 방식일텐데요. 정답을 추론하는 과정을 언어 모델에게 알려줌으로써 더 정확한 답변을 추론할 수 있도록 유도하는 방법입니다. 아래 예시를 보면 직관적으로 이해할 수 있습니다.
Chain-of-Thought 프롬프팅 방법의 예시
어려운 질문에 답하기 전에 오랜 시간 고민하는 인간과 유사하지요? 이번 o1도 문제를 해결할 때 일련의 사고 과정을 거칩니다. 연구진은 여기에 강화학습을 통해 이러한 사고 과정을 연마하고 사용하는 전략을 개선했다고 밝혔습니다. 자신의 실수를 인식하고 수정하며, 복잡한 문제를 더 단순한 단계로 분해하고, 현재의 접근 방식이 효과적이지 않을 때는 다른 방법을 시도하는 등 다양한 전략을 학습하도록 한 것입니다.
OpenAI에서 공개한 실제 사례를 살펴봅시다. OpenAI는 이번 o1 모델을 공개하면서 특이하게도 번역하기 어렵게 만든 한국어를 영어로 번역하는 사례를 영상으로 공개했는데요. 이를 일종의 암호화 과정으로 여기고, 모델은 한 단계씩 추론해나가며 해독(Decipher)해나갑니다. 영상 말미에는 완벽하게 해독한 결과를 보여줍니다.
출처: YouTube ‘OpenAI’ 채널
현재 o1 모델은 ‘o1-preview’ 버전으로 유료 사용자를 대상으로 공개돼 있습니다. 즉, 일반 사용자도 당장 활용해 볼 수 있는데요. 이렇게 추론하는 과정을 단계별로 밝히면 많은 이점이 있습니다. 우선, 추론이 잘못됐을 때 어디에서 오류가 발생했는지 쉽게 파악할 수 있어 효율적으로 문제를 해결하는 데 도움을 줍니다. 더 나아가 개발자들은 공개된 추론 과정을 분석하여 모델의 약점을 파악하고 개선 방향을 설정할 수 있지요.
또한 모델이 어떤 논리로 결론에 도달했는지 알 수 있으므로 결과에 대한 신뢰성도 강화되는데요. 이는 인공지능에 대한 불확실성을 줄이고 사용자와의 신뢰를 얻는 큰 도움이 됩니다. AI를 활용한 교육 측면에서도 사용자들은 모델의 추론 과정을 따라가며 복잡한 문제 해결 방법을 학습할 수 있다는 장점이 있습니다.
Chain of Thought 과정을 숨긴 o1-preview. 오른쪽의 ‘Show chain of thought’을 누르면 사고 과정의 요약본이 나온다.
하지만 o1에서는 이러한 Chain of Thought 과정이 사용자에게 그대로 공개되지 않습니다. 그 배경에는 여러 가지가 있을 수 있습니다. 잘못된 추론 과정이 반복되면 신뢰를 잃을 수 있기도 하고, 비이성적이거나 비윤리적인 추론 가능성을 내포하고 있을 수도 있기 때문입니다. 그러나 OpenAI에서 이 과정을 밝히지 않기로 한 이유는 조금 다릅니다. 그들은 **숨겨진 사고 과정(Hidden Chain of Thought)**을 통해 모델을 모니터링하는 기회로 삼고 있기 때문입니다. 이 숨겨진 사고 과정이 해독 가능하다면, 모델의 ‘생각’을 읽고 그 추론 과정을 이해할 수 있게 되겠죠. 이런 효과를 발휘하려면 모델이 자신의 생각을 있는 그대로 자유롭게 표현할 수 있어야 합니다. 즉, 정책 준수를 강요하거나 사용자 선호도를 이 사고 과정에 적용하면 안 됩니다. 이렇듯 서비스 제공자 입장에서 고객 경험을 고려해 정렬되지 않은(Unaligned) 사고 과정을 사용자에게 직접 보여주지 않기로 결정한 것입니다.
결국, OpenAI는 Chain of Thought를 사용자에게 공개하지 않기로 결정했습니다. 대신 현재 o1 모델 시리즈에서는 모델이 생성한 사고 과정의 요약본을 사용자에게 제공합니다.
이미 일반적인 인간 수준을 넘어선 언어 모델은 어떻게 더 발전할 수 있을까요? OpenAI뿐만 아니라 Anthropic, Meta 등 뛰어난 언어 모델을 개발한 기업들은 이제 ‘안전(Safety)’한 AI를 만들기 위해 힘쓰고 있습니다. AI의 잠재력은 이미 인정받은 상황에서 전세계적으로 영향력이 커진 만큼 악용될 여지 또한 높기 때문입니다. 이에 각 국가별로 규제 방안을 마련하기도 하고, AI 개발을 잠시 멈추자는 이야기까지 나오기도 했죠.
OpenAI는 Chain of Thought을 활용함으로써 안전 측면에서 상당한 진전을 이룰 수 있다고 믿습니다. 그 이유는 (1) 모델의 사고 과정을 읽기 쉽게 관찰할 수 있고, (2) 모델이 안전 규칙에 대해 추론하는 능력이 학습하지 않은 상황(Out-of-distribution Scenarios)에서도 더욱 강건하기 때문입니다.
Safety Evaluation 벤치마크의 일부. 전분야에서 뛰어난 안정성을 보여준 o1
이에 OpenAI는 모델의 행동 정책을 추론 모델의 Chain of Thought에 통합하는 것이 인간의 중요하게 여기는 가치와 원칙을 가르치는 효과적인 방법이라고 보고, 모델에게 안전 규칙과 상황에 맞게 규칙을 추론하는 방법을 교육함으로써 추론 능력이 모델의 강건성에 직접적으로 도움이 된다는 사실을 밝혔습니다. 실제로 o1-preview는 주요 탈옥(Jailbreak) 평가와 내부에서 가장 어려운 안전 거부 경계 평가에서 크게 향상된 성능을 보였습니다.
이번 OpenAI 모델은 ‘GPT’를 뺀 채 ‘o1’으로 표기합니다. ‘o’가 무엇의 약자인지 밝히진 않았지만, OpenAI의 이전 모델 GPT-4o를 토대로 추론하자면 이는 ‘omni’로 보입니다. 말 그대로 ‘어디에서나’ 활용할 수 있는 모델이라는 의미죠. 여전히 서비스는 ChatGPT를 통해 공개하고 있지만 모델명에서 ‘GPT’ 빠졌다는 것은 언어 모델 발전의 새로운 단계로 접어들었음을 시사합니다.
경쟁 기업이 새로운 모델을 공개할 때마다 언론에서는 OpenAI의 위기를 거론하곤 하는데요. 이번 o1으로 OpenAI가 또다시 한 발 앞서 나가고 있다는 평가가 나옵니다. 사고 과정을 추론하는 과정에서 컴퓨팅 비용이 높게 쓰이는 만큼 일반 사용자에게 허용된 사용량은 제한적입니다. OpenAI 입장에서는 당분간 많은 비용을 감수하더라도 수집한 데이터를 기반으로 다시 경쟁 모델보다 진일보한 모델을 공개해나갈 것으로 보입니다.
