청킹된 데이터를 효과적으로 검색하기 위해서는 인덱싱(Indexing)이 필수입니다. 인덱싱이란 청킹한 데이터를 효율적으로 검색할 수 있도록 데이터베이스에 저장하는 과정을 말합니다. 인덱싱된 데이터는 검색 쿼리와의 유사도를 계산해 적절한 데이터를 빠르게 검색하는 데 도움을 주고, 복잡한 검색 요청에도 정확하고 신속하게 답변할 수 있는 인프라를...

RAG (Retrieval-Augmented Generation)는 AI의 더욱 정교한 응답을 가능하게 하는 중요한 기술로 자리 잡았습니다. 특정 도메인의 전문 지식을 활용해 맞춤형 응답을 생성하는 데 탁월하기 때문인데요. 이 과정에서 가장 중요한 점은 데이터를 구조화하고 효율적으로 검색하는 것입니다. 이번 글에서는 RAG의 데이터 구조화에 필수적인...

데이터 구조화란 무엇일까요? 지난 아티클에서 LLM 학습을 위한 새로운 접근법으로 RAG에 대해 알아보았는데요. RAG는 오픈북 테스트처럼 외부의 데이터를 활용해 모델이 필요한 정보를 찾아 답변을 생성하는 방식입니다. RAG의 성능은 데이터를 얼마나 효과적으로 구조화하느냐에 따라 크게 달라집니다. 데이터 구조화는 모델이 적절한 정보를...

생성형 AI를 기반으로 한 대규모 언어 모델(LLM)은 다양한 도메인에서 강력한 성능을 발휘하고 있습니다. 그러나 AI를 실제 환경에서 활용하기 위해서는 모델의 학습 방식과 데이터를 다루는 전략에 대한 이해가 필수적입니다. 이번 편에서는 LLM 학습과 RAG(Retrieval-Augmented Generation)에 대해 이야기 해보려고합니다. RAG의 필요성과 데이터를...

생성형 AI가 인간에게 유용한 도구로 자리 잡기 위해서는 단순히 데이터를 학습하는 것을 넘어, 사람의 의도를 이해하고, 인간의 기대에 부합하는 방식으로 응답할 수 있어야 합니다. 이를 가능하게 하는 핵심 요소가 바로 휴먼 얼라인먼트(Human Alignment)인데요. 휴먼 얼라인먼트가 무엇인지, 또 이를 이용한 학습...

그림 한 장, 텍스트 몇 줄, 혹은 사진 한 장으로 나만의 가상 세계를 만들 수 있다면 어떨까요? 올해 2월 구글이 공개한 구글 Genie (Generative Interactive Environment)는 바로 그런 마법을 가능하게 하는 모델입니다. 이번에는 구글이 후속작 Genie 2를 선보이며 World Model로 나아갈...

AI 기술이 발전하는 속도를 따라잡기가 어렵습니다. 특히 생성형 AI는 그 중심에 서 있는데요. 우리에게 ChatGPT로 익숙한 생성형 AI는 텍스트 뿐만 아니라, 이미지, 음성, 영상 등 다양한 형태의 데이터를 처리하고 생성하는 능력을 통해 혁신의 새 지평을 열고 있습니다. 생성형 AI가 어디까지...

2022년 7월, Stable Diffusion 등장 이후 생성 모델은 세계적인 화두가 되었습니다. 특히 비전 분야에서는 Diffusion 계열의 이미지 생성 모델이 주목 받았습니다. 그로부터 2년이 지난 현재, 생성 모델은 이미지를 넘어 영상과 3D 객체까지 생성하고 있습니다. Microsoft의 수석 연구원이 CVPR 2024 튜토리얼에서...