[25.08.14.9AM 웨비나] 시티은행 AI 총괄이 말하는 AI로 금융산업을 이끄는 방법

Confabulation

Confabulation

AI에서의 컨퍼뷸레이션(Confabulation)은 그럴듯하게 들리지만 부정확하거나 완전히 허구인 답변을 생성하는 현상을 말합니다.
이는 AI 모델이 사실의 정확성보다는 문맥에 맞고 일관성 있는 문장 생성을 우선시하기 때문에 발생합니다.

 

왜 발생하는가:

 

•이해보다는 패턴 학습(Pattern Matching Over Understanding): 대형 언어 모델은 정보를 “이해”하는 것이 아니라, 학습한 패턴을 바탕으로 다음에 올 단어나 문장을 예측합니다.

외부 검증 부재(Lack of External Verification): 출력 내용을 신뢰할 수 있는 지식 소스와 대조해 검증하는 과정이 없습니다.

• 프롬프트의 모호성(Ambiguity in Prompts): 사용자의 질문이 불분명하거나 정보가 부족한 경우, 모델이 문맥을 맞추기 위해 내용을 추론하거나 지어낼 수 있습니다.

 

예시: 

 

잘못된 날짜, 사건, 통계 제시

존재하지 않는 인용문이나 자료를 생성

허구의 기술이나 개념을 실제인 것처럼 설명

 

중요성

 

컨퍼뷸레이션은 특히 의료 진단, 법률 자문, 교육 도구정확성이 중요한 분야에서 AI 시스템에 대한 신뢰를 약화시킬 수 있습니다.
이 문제를 해결하는 것은 AI의 신뢰성과 안전한 활용을 위해 필수적입니다.

RLHF(인간 피드백을 통한 강화 학습)이나 팩트체크 시스템 통합 같은 기술을 통해 컨퍼뷸레이션 발생을 줄이고 있습니다.