한국어 기계독해의 범위를 넓히다: LG CNS ‘KorQuAD2.0’

기계독해(MRC;Machine Reading Comprehension)는 기계가 주어진 지문과 질문을 이해하여 지문 내에서 답변 영역을 찾아야 하는 자연어처리 과제로 자동 질의응답 기술의 핵심 토대가 되는 기술입니다. 기계독해를 위한 한국어 표준 데이터셋으로는 KorQuAD 1.0이 있으며 모델 학습에 이용할 수 있을 뿐만 아니라 여러 모델 간 의 성능 평가를 위한 객관적 기준이 됩니다.

기존에 공개된 한국어 데이터셋은 위키백과나 한 문단의 짧은 뉴스 기사와 같은 평문으로 구성된 지문에서 질의응답을 수행했습니다. 하지만 실무에서 만나게 되는 문서(웹 문서, 상품 매뉴얼, 이용 약관 문서, 표, 리스트의 형태 등)는 다양한 구조와 길이, 형태가 존재하며 문단이 아닌 문서 안에서 기계독해를 수행해야 하는 경우가 대부분입니다. 이처럼 실제로 필요한 질의응답 태스크와 학계의 연구 사이에는 괴리가 있어 데이터셋에 대해 제대로 질의응답할 수 있는 알고리즘 일지라도 현실의 문제에서는 적용이 되지 않는 경우가 많습니다.

이러한 문제를 해결하기 위해 LG CNS AI빅데이터연구소에서는 다양한 구조와 길이를 가진 문서에서 기계독해를 위한 데이터셋 korQuAD 2.0을 구축했습니다. 셀렉트스타는 약 5만여 개 위키피디아 글을 바탕으로 약 8만여 개 질의응답 쌍으로 이뤄진 학습 데이터를 수집했으며 LG CNS와 함께 기존의 KorQuad 1.0 데이터 2만 건과 합쳐 총 10만 건의 데이터셋을 구축했습니다.