문서 검색에서 Dense Passage Retrieval(DPR) 방식은 오랜 기간 동안 효과적인 검색 메커니즘으로 자리 잡아 왔습니다. 하지만 복잡한 질문이나 대규모 문서 데이터셋에서는 그 한계가 분명하게 나타납니다. 이러한 한계를 해결하기 위해 등장한 것이 RAPTOR (Recursive Abstractive Processing for Tree-Organized Retrieval) 방식입니다. RAPTOR와...

효과적으로 데이터를 검색하고 활용하려면 단순히 많은 정보를 찾기보다는 각 정보 간의 연결 관계를 이해해야 합니다. 오늘은 RAG를 위한 데이터 구조화 기술의 핵심인 청킹 자동화와 그래프 기반 데이터 연결을 중심으로, 기존 Document Retrieval 구조의 한계와 이를 극복하기 위한 지식 그래프(Knowledge Graph)에 대해...

청킹된 데이터를 효과적으로 검색하기 위해서는 인덱싱(Indexing)이 필수입니다. 인덱싱이란 청킹한 데이터를 효율적으로 검색할 수 있도록 데이터베이스에 저장하는 과정을 말합니다. 인덱싱된 데이터는 검색 쿼리와의 유사도를 계산해 적절한 데이터를 빠르게 검색하는 데 도움을 주고, 복잡한 검색 요청에도 정확하고 신속하게 답변할 수 있는 인프라를...

RAG (Retrieval-Augmented Generation)는 AI의 더욱 정교한 응답을 가능하게 하는 중요한 기술로 자리 잡았습니다. 특정 도메인의 전문 지식을 활용해 맞춤형 응답을 생성하는 데 탁월하기 때문인데요. 이 과정에서 가장 중요한 점은 데이터를 구조화하고 효율적으로 검색하는 것입니다. 이번 글에서는 RAG의 데이터 구조화에 필수적인...

데이터 구조화란 무엇일까요? 지난 아티클에서 LLM 학습을 위한 새로운 접근법으로 RAG에 대해 알아보았는데요. RAG는 오픈북 테스트처럼 외부의 데이터를 활용해 모델이 필요한 정보를 찾아 답변을 생성하는 방식입니다. RAG의 성능은 데이터를 얼마나 효과적으로 구조화하느냐에 따라 크게 달라집니다. 데이터 구조화는 모델이 적절한 정보를...

생성형 AI를 기반으로 한 대규모 언어 모델(LLM)은 다양한 도메인에서 강력한 성능을 발휘하고 있습니다. 그러나 AI를 실제 환경에서 활용하기 위해서는 모델의 학습 방식과 데이터를 다루는 전략에 대한 이해가 필수적입니다. 이번 편에서는 LLM 학습과 RAG(Retrieval-Augmented Generation)에 대해 이야기 해보려고합니다. RAG의 필요성과 데이터를...

생성형 AI가 인간에게 유용한 도구로 자리 잡기 위해서는 단순히 데이터를 학습하는 것을 넘어, 사람의 의도를 이해하고, 인간의 기대에 부합하는 방식으로 응답할 수 있어야 합니다. 이를 가능하게 하는 핵심 요소가 바로 휴먼 얼라인먼트(Human Alignment)인데요. 휴먼 얼라인먼트가 무엇인지, 또 이를 이용한 학습...

그림 한 장, 텍스트 몇 줄, 혹은 사진 한 장으로 나만의 가상 세계를 만들 수 있다면 어떨까요? 올해 2월 구글이 공개한 구글 Genie (Generative Interactive Environment)는 바로 그런 마법을 가능하게 하는 모델입니다. 이번에는 구글이 후속작 Genie 2를 선보이며 World Model로 나아갈...