Underdog을 위한 인공지능의 발전 세번째 이야기, 의사소통의 장벽을 없애는 기술 GIST의 몸짓 제스처 ‘손담’입니다.
수어 기반의 중증 장애인 대상의 보완 대책 의사소통 수단인 한국형 몸짓 상징 제스쳐 데이터셋
205개의 카테고리에 대한 영상 데이터셋 4,204개 영상 구축
크라우드 유저는 한 영상에서 다섯 번의 동작을 진행해, 동작 기반 영상 총 21,020 개 구축
손담 204개 카테고리에 대해 크라우드 유저들에게 ‘영상 가이드’를 제공하여 영상 데이터 수집
주요 작업 방법: 셀렉트스타 크라우드 소싱 플랫폼 ‘캐시미션(앱)’ 활용
GIST의 제스처 데이터셋은 셀렉스트타의 4가지 데이터 구축 철학[ ACCURACY / CONSISTENCY / BALANCE / COVERAGE ]에 입각하여, 최대한 다양한 이들에게서 다양한 제스처 영상을 모아 AI 모델에 적용 시 오류 없이 인식을 할 수 있도록 하였습니다.
모든 데이터는 셀렉트스타의 크라우드소싱 플랫폼 캐시미션을 통해 수집 가공되었습니다.
셀렉트스타는 GIST(광주과학기술원)의 융합기술원과 함께 수어 기반의 ’몸짓 상징 제스쳐 데이터셋’을 구축했습니다. 소통에 어려움을 겪는 장애인과 비장애인의 의사소통을 가능케 해줄 수 있는 따뜻하고 소중한 데이터셋으로 특별한 가치와 의의를 가집니다. 장애로 인해 의사소통이 어려운 분들의 의사 표현 과정을 더욱 편하게 만들고자 ‘손담’이 탄생하였고, 더욱 널리 사용되기를 바라는 마음으로 셀렉트스타가 데이터 구축 기술력을 더했습니다.
데이터는 셀렉트스타의 크라우드소싱 플랫폼 캐시미션을 통해 수집 & 가공되었습니다.
205개의 카테고리를 구성하여 다섯 번의 몸짓 제스처 동작을 진행, 총 21,020개의 동작 영상으로 구축된 데이터셋입니다.
인공지능을 학습 시키기 위해 가장 중요한 것이 ‘정확하고’ ‘다양한’ 데이터셋을 구축하는 것인데, 크라우드소싱을 이용하여 많은 양의 다양한 데이터 수집이 가능했고, 캐시미션의 자랑인 탄탄한 가이드라인을 통해 정확한 데이터 수집과 가공이 가능했습니다.
GIST 정인택 박사
셀렉트스타의 크라우스소싱 플랫폼을 통해 다양한 이들을 대상으로 제스처를 수집하여 Variability와 Diversity가
굉장히 높은 데이터를 제공 받을 수 있었습니다. 또 담당 프로젝트 매니저님께서 GIST 연구팀과의 많은 커뮤니케이션을 통해, 하나부터 열까지 모든 과정에 있어 의견을 조율하고 적극 반영해 주어 양사가 모두 만족할 수 있는 프로젝트였습니다.
이 데이터셋은 실제로 어떻게 사용될까?
GIST와 셀렉트스타가 구축한 수어 기반의 중증 장애인 대상 의사소통 수단 제스처 데이터셋 ‘손담’은 다양한 단어를 제스처화하여 장애인과 비장애인의 의사소통의 장벽을 허물어주는 기술입니다. 현재 국내에는 이러한 벤치마크 데이터셋이 존재하지 않아, 어쩌면 첫 시도, 첫 출발이라는 큰 의미를 담고 있기도 합니다.
손담 데이터셋은, 제스처 인지 AI 모델에 사용될 수도 있고, AI 모델을 통해 중증 장애인에게 손담 제스처를 알려주는 교육용 게임 프로그램에도 활용할 수 있습니다. 중증장애인들이 직접 쓰는 것 외에도, 그들의 교육자나 보호자들이 함께 사용할 수 있는 제스처 데이터셋으로 다양한 AI 애플레케이터에서 활용될 수 있습니다. 제스처를 인식해서 어떤 의미의 동작인지 인식해서 함께 있는 이들과의 의사소통의 장을 열어줄 수 있는 데이터셋입니다.
아래 영상은 손담 제스처 데이터셋을 바탕으로 개발된 AI 모델로, 사용자의 움직임을 인지하고 특정 제스처를 사용자에게 교육하는 모습을 담은 영상입니다. 기술의 발전이 모두에게 평등할 수는 없습니다. 하지만 이와 같은 underdog을 위한 AI 기술의 발전이 소외된 이들에게 희망을 줄 수 있기를 바랍니다.
