AI에서의 컨패뷸레이션(Confabulation)은 그럴듯하게 들리지만 부정확하거나 완전히 허구인 답변을 생성하는 현상을 말합니다. 기억 왜곡이나 작화증이라고 표현하기도 합니다.
작화증은 AI 모델이 사실의 정확성보다는 문맥에 맞고 일관성 있는 문장 생성을 우선시하기 때문에 발생합니다.

왜 발생하는가:

•이해보다는 패턴 학습(Pattern Matching Over Understanding): 대형 언어 모델은 정보를 “이해”하는 것이 아니라, 학습한 패턴을 바탕으로 다음에 올 단어나 문장을 예측합니다.

• 외부 검증 부재(Lack of External Verification): 출력 내용을 신뢰할 수 있는 지식 소스와 대조해 검증하는 과정이 없습니다.

• 프롬프트의 모호성(Ambiguity in Prompts): 사용자의 질문이 불분명하거나 정보가 부족한 경우, 모델이 문맥을 맞추기 위해 내용을 추론하거나 지어낼 수 있습니다.

예시: 

• 잘못된 날짜, 사건, 통계 제시

• 존재하지 않는 인용문이나 자료를 생성

• 허구의 기술이나 개념을 실제인 것처럼 설명

중요성

컨퍼뷸레이션은 특히 의료 진단, 법률 자문, 교육 도구 등 정확성이 중요한 분야에서 AI 시스템에 대한 신뢰를 약화시킬 수 있습니다.
이 문제를 해결하는 것은 AI의 신뢰성과 안전한 활용을 위해 필수적입니다.

RLHF(인간 피드백을 통한 강화 학습)나 팩트체크 시스템 통합 같은 기술을 통해 컨퍼뷸레이션 발생을 줄이고 있습니다.