Research Content

과제명

• 비디오 이해를 위한 이벤트-상황 지식체계 학습 및 이벤트인식/관계추론 기술 개발 

주요 기술개발 내용

• 비디오 데이터에서 행동, 배경, 의도, 감정, 객체 및 인물 상태변화 등을 인식하고 언어 표현으로 매핑하는 기술 개발

• 상황 의존적 이벤트 인식을 바탕으로 이벤트 간의 관계와 인과관계를 추론하는 기술 개발

• 상황 의존적 이벤트를 유형별로 분류하고, 이를 바탕으로 확장 가능한 상황지식체계 구축

• 이벤트 인식 결과를 일반화하여, 현실 세계에 대한 상식적이고 직관적인 세계지식체계 구축 및 점진적 확장 기술 개발

연구개발 목표

* 연차별 구축된 추론 기술은 소프트웨어 알고리즘으로 공개되며 산학 연구기관/기업/연구원 누구나 해당 기술을 활용가능

연차별목표 (2017~2021)

•    1차년도 : 비디오 데이터 기반 시각적 이벤트 팩터 추론 기술 개발

•    2차년도 : 이벤트 팩터의 체계화 된 그래프 자동 학습 기술 개발

•    3차년도 : 이벤트 팩터에 대한 효율적인 그래프 탐색 및 추론 기술 개발

•    4차년도 : 상황지식을 연동한 복합적 그래프 탐색 및 추론 기술 개발

•    5차년도 : 복합형 고수준 질의에 대한 시각적 추론 기술 개발

연구개발 내용

• - 비디오 내 상황에 따른 행동 표현 도출 모델 개발

•  - 객체 및 등장인물 인식 및 어휘 표현 기술 개발

•  - 비디오 내 상황에 따른 장소 (환경) 인식 및 개념 표현 기술 개발

•  - 비디오 내 등장인물의 상황에 따른 안면 감정인식 기술 개발

•  - 비디오 내 등장인물의 의도 추론 모델 개발

•  - 비디오 내 상황 변화 탐지 및 추적

•  - 다중 이벤트를 포함하는 비디오 데이터에 대한 상황지식체계 그래프의 추론 기술 개발

•  - 다중 이벤트 상황지식체계 그래프에 대한 자연어 문장 형태의 설명 생성 기술 개발

•  - 인지발달과 언어발달 이론 기반의 어휘학습과-어휘부 구축

•  - 맥락의존적 의미 생성 규칙 시스템 개발

•  - 웹 텍스트에 대한 어휘 그래프의 의미부여

•  - 웹으로부터 이벤트에 대한 케이스 수집 및 상식-지식화

•  - 웹으로부터 이벤트에 대한 인과관계 케이스 수집 및 상식-지식화

•  - 세계 지식 추론 기반 이벤트 인식 애매성 해소

•  - 문맥 추론 기반 이벤트 간 관계 추론

적용 분야

• 비디오 자동 태깅으로 빅 데이터의 효율적인 관리 및 처리

• CCTV 자동감시와 위험 사전경고 및 영상관련 질의 응답 기능 적용

최종목표

• 비디오 데이터 내에서 상황의존적 이벤트를 정확하게 인식하는 기술 개발

• 학습된 지식 베이스를 활용하여 이벤트 간의 관계를 효과적으로 추론하는 기술 개발

• 영상 튜링 테스트(Video Turing Test, VTT)의 핵심 기술인 질의응답(Q&A) 기술 개발

34141 Korea Advanced Institute of Science and Technology (KAIST) N24 LG Innovation Hall 2108 Video Turing Test - Artificial Intelligence Center, 291 Daehang-ro, Yuseong-gu, Daejeon

T. 042-350-5470, 8070