픽셀 단위 장면 인지 멀티모달 데이터
주요 키워드
AI 학습데이터, 이미지, 질의응답(QA) 데이터셋, 영상 데이터
주제
멀티모달 데이터
유형
이미지, 멀티모달
소개
영상 내 모든 객체를 감지, 분할, 추적하기 위한 주류/비주류 객체 정보 수집 및 자연어 묘사 데이터 포함 멀티모달 데이터 수집
구축 목적
다양한 실세계 미디어 영상으로부터 영상 내 객체들을 픽셀 단위로 인식 및 분류하여 다양한 분야에서 사용할 수 있도록 하는 영상 데이터를 구축
데이터 영역
데이터 형식
라벨링 유형
데이터 활용 서비스
영상 이미지
mp4, jpg
질의응답(자연어), 바운딩박스(이미지), 세그멘테이션(이미지)
객체 탐지 서비스, 영상 장면 설명문 서비스
데이터 유형
데이터 출처
라벨링 형식
데이터 구축년도/데이터 구축량
비디오, 이미지
자체 수집
png, json
2022년/4,183개. mp4파일, 314,489개. png파일
데이터 영역
데이터 형식
라벨링 유형
데이터 활용 서비스
영상 이미지
mp4, jpg
질의응답(자연어), 바운딩박스(이미지), 세그멘테이션(이미지)
객체 탐지 서비스, 영상 장면 설명문 서비스
데이터 유형
데이터 출처
라벨링 형식
데이터 구축년도/데이터 구축량
비디오, 이미지
자체 수집
png, json
2022년/4,183개. mp4파일, 314,489개. png파일
학습모델: 픽셀 단위 객체 탐지 모델
Segmentation 분야는 이미지 내의 객체를 픽셀 단위로 탐지하거나 해당하는 class로 분류하며 그중 Panoptic Segmentation은 모든 객체를 분리하여 탐지할 뿐만 아니라, 각 객체의 class도 분류
데이터셋 분할
구분
데이터 역할
건수 및 비율
학습(Learning)
모델 학습
243,515 (80%)
검증(Validation)
모델 과적합 방지
30,420 (10%)
시험(Test)
모델 검증
30,029(10%)
구분
데이터 역할
건수 및 비율
학습(Learning)
모델 학습
243,515 (80%)
검증(Validation)
모델 과적합 방지
30,420 (10%)
시험(Test)
모델 검증
30,029(10%)
레이블링 방법
panoptic segmentation, 텍스트 생성, 영상 태깅
활용 분야
컴퓨터 비전 영역
- 객체 탐지
- 영상 장면 설명문 데이터 연계
미디어 콘텐츠 영역
- 하이라이트 소스 생성 서비스
- 영상 검색 서비스
- 영상 추천 서비스
