생성형 AI를 기반으로 한 대규모 언어 모델(LLM)은 다양한 도메인에서 강력한 성능을 발휘하고 있습니다. 그러나 AI를 실제 환경에서 활용하기 위해서는 모델의 학습 방식과 데이터를 다루는 전략에 대한 이해가 필수적입니다. 이번 편에서는 LLM 학습과 RAG(Retrieval-Augmented Generation)에 대해 이야기 해보려고합니다. RAG의 필요성과 데이터를 구조화하는 전략이 얼마나 중요한지 살펴보겠습니다.
LLM 학습은 모델 내부의 파라미터(매우 많은 숫자들로 이루어진 데이터 구조)를 조정하는 과정을 말합니다. 인간으로 비유하면 뇌를 구성하는 뉴런 간의 연결인 시냅스를 구성하는 것이라고 생각할 수 있습니다. LLM 학습의 단계로는 앞서 말했던 프리 트레이닝, 포스트 트레이닝 등이 있습니다. 이처럼 LLM의 성능을 개선하기 위해 다양한 단계의 학습이 필요하며, 이를 위해 대규모 데이터셋과 막대한 리소스가 소모됩니다.
이에 최근 많은 기업들이 생성형 AI를 활용하는 방식에서 변화를 모색하고 있습니다. 예전에는 특정 도메인에 맞는 AI 시스템을 구축하기 위해 데이터셋(예: 디텍션, 요약, 분류)을 준비하고, 이를 기반으로 모델을 학습시키는 파인튜닝 방식을 선택했습니다. 하지만 이제는 GPT와 같은 LLM에 프롬프팅을 활용해 간단히 문제를 해결하려는 경향이 커지고 있습니다.
“GPT를 학습하지 않고 어떻게 잘 활용할 수 있을까?”
“내 도메인 지식을 효과적으로 녹여내어, GPT가 정확한 답변을 생성하도록 만들 수 있을까?”
이러한 고민의 해결책으로 등장한 것이 바로 RAG(Retrieval-Augmented Generation)입니다. RAG는 GPT를 활용하는 효율적인 방법론으로, 모델 자체를 학습시키지 않고도 원하는 결과를 얻을 수 있습니다.
LLM을 활용해 도메인별 업무를 처리하려면 두 가지 접근 방식이 주로 사용됩니다. **파인튜닝(Fine-Tuning)**과 RAG. 이 두 방법은 상반된 접근법이지만, 각자의 장단점이 있기 때문에 상황과 목적에 따라 선택할 수 있습니다.
파인튜닝: 모델의 뇌 구조를 바꾼다
파인튜닝은 모델의 파라미터를 학습시켜 변경하는 방식입니다. 새로운 데이터를 학습시켜 모델 자체의 사고 방식을 특정 도메인에 최적화되도록 변화시키는 작업입니다. 사람의 뇌에 비유하면 뉴런과 시냅스의 결합 구조를 바꾸는 것과 같습니다. 파인튜닝으로 생성된 모델은 새로운 데이터를 기반으로 학습한 결과를 기억하고, 이후에 동일한 문제에 대해 개선된 성능을 보여줍니다. 다만, 모델 전체를 다시 학습시켜야 하기 때문에, 많은 시간과 컴퓨팅 자원이 필요합니다.
RAG: 오픈북 테스트 방식으로 답변 생성
RAG는 모델의 파라미터를 변경하지 않습니다. 대신, 외부의 데이터를 활용해 모델이 마치 ‘책을 보고 시험을 치르듯’ 답변을 생성합니다. 모델 학습 없이도 원하는 도메인 지식을 활용해 적절한 답변을 제공할 수 있기 때문에 빠르고 효율적입니다. 또한, 사내 데이터베이스(DB)나 외부 자료를 즉각적으로 반영할 수 있어, 최신 정보를 활용하는 데 유리합니다.
어느 방식이 더 뛰어나다고는 말할 수는 없습니다. 상황에 따라 적합한 방식을 ‘선택’하면 됩니다. 파인튜닝은 모델의 내부 변화가 필요한 경우, RAG는 외부 지식 활용이 중요한 경우에 적합합니다. 생성형 AI가 점점 더 많은 분야에서 활용되고 있는 지금, 두 가지 접근법의 차이를 이해하고 적재적소에 활용하는 것이 중요합니다.
- 질문 입력: 사용자가 질문을 입력합니다.
- 지식 검색: 질문과 관련된 사내 DB(예: 상품 데이터, 법률 문서, 의료 차트 등)에서 유사한 정보를 검색해 가져옵니다.
- 답변 생성: 검색된 정보를 기반으로 모델이 최적화된 답변을 생성합니다.
예를 들어, 호텔이나 병원과 같은 특정 도메인에서도 RAG를 활용해 특화된 맞춤형 솔루션을 운영할 수 있습니다. 기업의 데이터와 외부 AI 모델을 결합해 필요한 정보를 즉각적으로 제공함으로써, 기업은 LLM을 학습시키지 않고도 도메인 지식을 효과적으로 활용할 수 있습니다.
(사례 1) 메리어트 호텔의 RENAI 챗봇
메리어트 르네상스 호텔은 AI 전담팀이 없는 상황에서도 RAG를 활용해 GPT 기반의 챗봇, RENAI를 개발했습니다. 사내 DB와 GPT API를 연동하여 명소 추천, 할인 정보 제공, 현지 전문가 연결 등의 맞춤형 서비스를 제공했고, 고객 경험을 개인화하여 호텔 내 서비스 이용률과 매출을 높이는 데 기여했다는 평가를 받았습니다.
(사례 2) 세일즈포스의 Einstein GPT
CRM(Customer Relationship Management) 솔루션으로 유명한 세일즈포스는 고객 관리 및 영업 효율성을 높이기 위해 Einstein GPT를 도입했습니다. GPT 기반으로 세일즈 인사이트를 제공, 이메일 작성, 마케팅 콘텐츠 작성 등 반복적인 작업을 자동화할 수 있었습니다. 그 결과 2023년 4분기 매출이 전년 동기 대비 10% 이상 증가, 업무 생산성 향상 등의 성과를 얻을 수 있었습니다.
기술은 그 자체만으로는 의미가 한정됩니다. 활용하는 방안을 통해 진정한 의미를 갖지요. 보유한 데이터, 목표로 하는 문제 해결 방식, 리소스 제약 등을 종합적으로 고려해 RAG를 도입한다면 리소스 효율성과 실시간 데이터 활용이 중요한 기업 환경에서 강력한 도구가 됩니다. 하지만 RAG가 모든 문제를 해결하는 만능 열쇠는 아닌데요. 파인튜닝과 같은 기존 방법론과의 보완적 관계를 이해하고, RAG가 적합한 상황에서만 활용해야 진정한 가치를 발휘할 수 있습니다.
효율성과 전문성 사이에서 균형을 잡기가 어렵다면, 셀렉트스타가 도와드리겠습니다.
