AI가 기억을 한다는 건 무슨 의미일까요?
전 메타 출신 연구원이 Memories.ai(메모리즈AI)라는 회사를 세웠습니다. 세계 최초로 ‘영상을 기억하는 AI’를 만들었다는데요. 인간처럼 ‘축적된 경험’을 가진 AI를 만들어, 업로드한 영상을 기억하고 그 안에서 빠르게 필요한 내용을 찾아주며 사용자와 상호작용하는 AI 모델입니다.
메모리즈AI 대표는 올해 1월, AI의 장기 기억에 대한 서베이 논문을 발표했습니다. 인간의 장기 기억 구조와 메커니즘을 AI 메모리 연구에 어떻게 적용할 수 있는지, 함께 알아볼까요? 🚀
(메모리즈AI 대표가 참여한 논문은 맞으나, 정확히 메모리즈AI에 사용된 기술인지는 알 수 없습니다.)
먼저, 인간의 장기 기억 구조를 알아보자
인간의 기억 체계는 크게 감각 등록기(Sensory Register), 작업 기억(Working Memory), 장기 기억(Long-term Memory)의 세 계층으로 구분됩니다.
- 감각 등록기: 시각·청각 등 감각 자극을 극히 짧은 시간(수백 밀리초 수준) 동안 정밀하게 저장합니다. 정보는 빠르게 소멸하거나 작업 기억으로 전달됩니다.
- 작업 기억: 단기적으로 정보를 유지하고 동시에 조작·가공하는 영역입니다. 언어 정보, 시각·공간 정보, 그리고 장기 기억과의 연결을 통해 문제 해결과 의사결정을 지원합니다.
- 장기 기억: 비교적 영구적으로 정보를 저장하며, 세 가지 하위 체계로 나뉩니다.
- 일화 기억(Episodic Memory): 특정 시점·장소에서의 개인적 경험과 사건
- 의미 기억(Semantic Memory): 개념·사실·규칙 등 일반 지식
- 절차 기억(Procedural Memory): 운동 기술·습관·조작 능력
인간의 장기 기억 구성. 출처: 논문.
기억은 이 계층 구조 안에서 저장(Encoding), 검색(Retrieval), 망각(Forgetting)의 순환 과정을 거치는데요. 저장 단계에서 기억은 의미 부여, 연관성 형성, 반복 학습, 정보 조직화 등을 통해 장기 기억으로 이전됩니다. 검색은 저장 시의 맥락과 유사한 단서가 있을 때 더 쉽게 회상되는 단계지요. 망각 단계에서 기억은 사용 빈도 감소나 정보 간 간섭 등으로 회상이 어려워지지만, 중요한 정보는 반복과 재활용을 통해 강화됩니다.
다음, AI의 장기 기억 구조를 알아보자
AI가 정보를 기억하는 방법에는 외부에 기록하는 방식과 머릿속에 새기는 방식 두 가지가 있습니다. 어디 적어두거나 외우고 있는 인간과 유사하지요?
AI의 장기 기억 구성. 출처: 논문.
비매개변수적 메모리(Non-parametric Memory)
- 외부에 저장하는 방식입니다. 필요할 때 외부 저장소에서 찾아봅니다.
- 예: 벡터 데이터베이스, 지식 그래프
- 장점: 수정·갱신이 쉽고 다양한 데이터 형식을 지원
- 단점: 검색 품질에 의존, 검색 시간이 소요됨
- 예시: RAG
매개변수적 메모리(Parametric Memory)
- 내부에 저장하는 방식입니다. 모델 매개변수에 직접 학습 및 저장합니다.
- 학습 과정에서 가중치 업데이트를 통해 지식 축적
- 장점: 검색 없이 즉시 응답 가능
- 단점: 지식 갱신이 어렵고, 기존 지식이 손실될 수 있음 (망각)
- LLM 사전학습·미세조정, 강화학습을 통한 정책 학습
비매개변수적 기억은 ‘책을 찾아보는 기억’, 매개변수 기억은 ‘완전히 암기한 기억’에 가깝습니다. 물론, 두 방식을 적절히 섞는 것이 가장 이상적입니다.
인간 관점에서 AI의 장기 기억 구조를 알아보자
위에서 인간의 장기 기억 구조를 크게 세 가지 유형으로 나누어 살펴보았는데요. AI에서도 이를 대응시키는 방식이 있습니다. 간단하게 알아볼까요?
인간의 장기 기억 구성. 출처: 논문.
- 에피소드(Episodic) 기억:
우리가 과거의 특정 사건이나 경험을 시공간 맥락과 함께 떠올리는 능력입니다. ‘작년 봄 여행에서 본 벚꽃🌸’ 같은 기억이 여기에 해당하지요. AI에서는 이런 역할을 대화 맥락을 저장하고, 과거 대화 내용을 회상하는 기능이 담당합니다. 덕분에 이전 대화의 흐름과 감정을 반영한 자연스러운 응답이 가능합니다.
- 의미(Semantic) 기억:
개인적인 경험과 무관하게 일반 지식과 사실을 저장하는 기억입니다. ‘파리는 프랑스의 수도다🇫🇷’와 같은 정보가 이에 해당하는데요. AI에서는 사전학습된 지식이나 지식 데이터베이스를 기반으로 사실 및 개념을 검색하고 답변하는 기능이 이 역할을 합니다.
- 절차(Procedural) 기억:
자전거 타기, 글씨 쓰기, 악기 연주처럼 몸이 익힌 기술이나 절차를 기억하는 능력입니다💪🏼. AI에서는 강화학습 정책, 작업 순서, 규칙 기반의 행동 계획 등이 절차 기억에 해당하며, 문제 해결이나 반복적인 작업 수행에서 활용됩니다.
기억이 어떻게 처리되는지 알아보자
인간의 장기 기억이 저장, 검색, 망각의 순환을 거친다고 했지요? AI도 같은 순환 구조를 가집니다. 둘이 어떻게 다른지 알아보겠습니다.
- 인간: 의미를 부여하고, 기존 기억과 연관성을 만들고, 반복하고, 관련 항목을 묶어 조직화하는 방식으로 기억을 장기 저장합니다.
- AI: 비매개변수적 메모리는 색인(Indexing)과 벡터화 과정을 거쳐 외부 저장소에 기록되고, 매개변수적 메모리는 학습 과정에서 모델 가중치가 조정되며 지식을 내재화합니다.
- 인간: 저장 당시와 비슷한 단서(Cue)가 주어질 때 기억을 잘 떠올립니다. 생성 단계에서 후보를 머릿속에 불러오고, 인식 단계에서 그중 정확한 것을 판별합니다.
- AI: 비매개변수적 메모리는 희소 검색이나 밀집 검색 등의 방식을 통해 외부 저장소에서 필요한 정보를 찾습니다. 매개변수적 메모리는 모델 내부에 내재된 지식을 바로 꺼내 쓰거나, 프롬프트 최적화, 혹은 쿼리 강화 기법을 활용합니다.
- 인간: 시간이 지나면 기억이 약해지거나, 비슷한 기억끼리 간섭해 회상이 어려워집니다. 하지만 불필요한 정보를 의도적으로 제거하는 ‘능동적 망각’도 수행하지요.
- AI: 매개변수적 메모리는 재학습 과정에서 기존 지식을 잃는 파괴적 망각이 발생할 수 있습니다. 비매개변수적 메모리는 오래된 데이터를 삭제하거나 압축, 중복 제거 방식으로 관리합니다.
차세대 인지 아키텍처: SALM
인간과 AI가 기억을 다루는 방식을 알아보았으니, 이 구조를 어떻게 차용할지 고민해 볼 시간입니다. 논문은 Self-Adaptive Long-term Memory(SALM)라는 새로운 아키텍처를 제안하는데요.
SALM 아키텍처 구성. 출처: 논문.
SALM은 인간의 기억 체계를 본떠 만든 차세대 AI 장기 기억 구조입니다. 기존 AI가 단순히 정보를 저장하거나 검색하는 데 그쳤다면, SALM은 저장, 검색, 그리고 망각 각 과정에 적응형 어댑터(Adaptive Adapter)를 두어, 입력 데이터의 중요도와 맥락에 따라 저장 여부 및 형식, 검색 경로와 전략, 그리고 망각 및 삭제 기준을 스스로 조정합니다.
예를 들어, 새로운 정보를 접하면 중요도를 평가해 장기 저장할지 버릴지를 결정하고, 검색 시에는 내부 지식과 외부 데이터 중 더 적합한 쪽을 선택하거나 두 결과를 결합하지요. 불필요한 정보는 능동적으로 삭제하고 중요한 지식은 강화할 수 있습니다.
SALM의 목표는 아래와 같이 정리할 수 있는데요:
- 환경 변화와 작업 요구에 따라 메모리 전략을 자동 조정
- 과거 경험을 재구성해 새로운 과제에 적용
- 매개변수적 & 비매개변수적 메모리의 유기적 결합
- 장기적으로 스스로 학습·적응 가능한 메모리 시스템 구현
SALM은 AI를 단순히 ‘많이 저장하는 기계’에서, 스스로 기억을 관리하고 진화하는 지능형 시스템으로 진화시키려는 시도입니다.
