비디오 전환 경계 추론 데이터

주요 키워드
AI 학습데이터, 비디오, 이미지, B-Box, 자연어 묘사 데이터, 라벨링
분야
영상이미지
라벨링 유형
행동요약(자연어)

데이터 개요

소개
• 영상 내 사건 경계 타임스탬프, 바운딩 박스, 사건 경계별 상황에 대한 자연어 캡션을 통해 등장인물 및 사물의 행동을 포괄적으로 이해하기 위한 학습 데이터 구축
• 주류 객체 정보 수집 및 자연어 묘사 데이터가 포함된 멀티모달 데이터 수집
구축목적
실세계 미디어 영상으로부터 화면 전환 경계를 추론하여 주요 장면 요약, 광고 삽입 등 다양한 분야의 인공지능 모델을 학습할 수 있도록 하는 학습용 영상 데이터를 구축

메타데이터 구조표

데이터 영역

데이터 형식

라벨링 유형

데이터 활용 서비스

영상이미지

mp4

행동요약(자연어)

영상 장면 행동 설명문 서비스

데이터 유형

데이터 출처

라벨링 형식

데이터 구축년도/데이터 구축량

비디오

자체 수집, 구매 영상

json

2022년/184,699ro. mp4 및 json

데이터 영역

데이터 형식

라벨링 유형

데이터 활용 서비스

데이터 영역

데이터 형식

라벨링 유형

데이터 활용 서비스

영상이미지

mp4

행동요약(자연어)

영상 장면 행동 설명문 서비스

데이터 유형

데이터 출처

라벨링 형식

데이터 구축년도/데이터 구축량

비디오

자체 수집, 구매 영상

json

2022년/184,699ro. mp4 및 json

레이블링 방법

panoptic segmentation, 텍스트 생성, 영상 태깅
• 음성 약 10,000 문장
• 비디오 장면 설명문 생성 데이터

json 예시

실제 예시

{
    "video_name": "D2_AN_0531_000002.mp4",
    "width": 1920,
    "height": 1080,
    "frame_rate": 30,
    "duration": 60.0,
    "total_frame": 1800.0,
    "film_method": "filmed_directly",
    "filmed_date": "2022-05-31",
    "domain_id": "AN",
    "place": "outdoor",
    "f1_consis": [
        1
    ],
    "f1_consis_avg": 1,
    "annotated_date": "2022-08-22",
    "version": 1,
    "revision_history": "N/A",
    "seg_annotator_id": [
        282,
        161,
        336,
        807,
        618
    ],
    "seg_confirmer_id": [
        331,
        674,
        312,
        710,
        116
    ],
    "distributor": "selectstar",
    "trigger_info": [
        {
            "timestamps": [
                "0:00.00000",
                "0:16.00000"
            ],
            "trigger": "Change of action",
            "trigger_object": "휴대폰",
            "trigger_action": "여자가 휴대폰으로 사진을 찍는다.",
            "bbox": {
                "x1": 0.47987416144579403,
                "y1": 0.19551638529754684,
                "x2": 0.5091957049242872,
                "y2": 0.35008483091943976
            },
            "time": "0:08.00000"
        },
        {
            "timestamps": [
                "0:15.92013",
                "0:15.92013"
            ],
            "trigger": "Change due to cut",
            "trigger_object": "null",
            "trigger_action": "null"
        },

형식

▼video info {19}
    video_name: D2_AN_0531_000002.mp4
    width: 1920
    height: 1080
    frame_rate: 30
    duration: 60.0
    total_frame: 1800.0
    film_method: filmed_directly
    filmed_date: 2022-05-31
    domain_id: AN
    place": outdoor
    f1_consis: 1
    f1_consis_avg: 1,
    annotated_date: 2022-08-22
    version": 1
    revision_history: N/A
    ▼seg_annotator_id [5]
        282,
        ...
    seg_confirmer_id [5]
        331,
        ...
    distributor: selectstar
    ▼trigger_info {4} or {6}
            timestamps:
                0:00.00000,
                0:16.00000
            trigger: Change of action or Change due to cut
            trigger_object: 사건 유발 객체
            trigger_action: 사건 유발 설명문
            bbox:
                x1: 0.47987416144579403,
                y1: 0.19551638529754684,
                x2: 0.5091957049242872,
                y2: 0.35008483091943976
            time: 0:08.00000