1. 연구목적
본 연구에서는 컴퓨터그래픽스 하드웨어(GPU)의 고성능 컴퓨팅 성능을 바탕으로 모바일 로봇과 컴퓨터비전 기반의 인지 기능을 결합한 “지능형 서비스(intelligent service) 로봇” 기술을 개발한다.
모바일 로봇이 실내/외 환경을 이동하면서 1) 주행 중인 공간에 대한 2D/3D 특징을 추출 및 분석하고 2) 주변 환경과 현재 위치 등을 인식하고 3) 다수의 휴먼 객체를 검출(detection) 및 추적하는 시각기반(vision-based) 지능 기술을 개발한다. 패턴인식, 기계학습 등의 다양한 기술을 이용하며, 무인 자동차 개발을 위한 주행형 로봇 플랫폼과 드론 등에 적용하고 있다.
2. 연구내용
가. 전방향 카메라 이용한 보행자 검출 / 추적
(1) 연구요약
This study presents a novel vision system for people detection using an omnidirectional camera mounted on a mobile robot. In order to determine regions of interest (ROI), we compute a dense optical flow map using graphics processing units, which enable us to examine compliance with the ego-motion of the robot in a dynamic environment. Shape-based classification algorithms are employed to sort ROIs into human beings and non-humans. The experimental results show that the proposed system detects people more precisely than previous methods.
(2) 연구결과
S. Kang, B. Nam, and H. Hong, "People detection method using graphics processing units for a mobile robot with an omnidirectional camera," Optical Engineering, vol.50, no.12, Dec. 2011 (SCI).
입력 이미지, 관심(경계) 영역, 움직임 기반 ROI 검출, 보행자 검출 및 추적(위에서부터 아래로)
나. 스테레오 카메라 이용한 보행자 검출 / 추적
(1) 연구요약
This study presents a novel Graphics Processing Unit (GPU)-based stereo system for pedestrian detection in real images. The process of obtaining a dense disparity map and the edge property of the scene to extract a Region Of Interest (ROI) is designed on a GPU for real-time applications. After extracting the histograms of the oriented gradients on the ROIs, Support Vector Machine (SVM) classifies them as pedestrian and non-pedestrian types. The system employs the recognition by components method, which compensates for the pose and articulation changes of pedestrians. In order to track effectively spatial pedestrian estimates over sequences, sub-windows in distinctive parts of human beings are used as measurements of Kalman filter.
(2) 연구결과
B. Nam, S. Kang, H. Hong, C. Eem, "Stereo system based on a graphics processing unit for pedestrian detection and tracking," Optical Engineering, vol.49, no.12, Dec. 2010 (SCI). [pdf]
계산된 시차맵, 검출된 보행자 객체 및 추적 결과
분류된 보행자와 영역 블럭, 각 영역에서 추적되는 서브-영역
다. 스테레오 카메라 이용한 SLAM 시스템
(1) 연구 요약
This paper presents a novel method to generate an index word for the topological map in robot localization. Previous studies extract only appearance features from an input image to match the visual words of the model images. However, the localization performance is much affected by the miss or false matches. First, we segment a robot navigation environment into the structural planes using 3D depth data. We obtain both the surface normal vectors of the structural planes and visual features in the model image, which are compared with those of an input request image in the voting approach. The experimental results show the voting performance is improved by taking into account the spatial distribution of the features.
S. Y. Lee, I. P. Lee, C. K. Eem, H. K. Hong "Using visual feature and geometric constraints for robot localization." International Journal of Control and Automation 8.5 (2015): 281-292. (SCOPUS)
CI).
<시각기반 지능형 서비스 로봇 기술요소>
- 실시간 스테레오 비전 매칭 및 2D/3D 특징 정보 추출
- 주변 주행 환경의 실시간 인덱싱 및 환경 인식
- 휴먼 객체의 실시간 검출 및 추적