자율주행차량의 토큰 기반 모방 학습을 통한 경로 생성

본 연구는 3차원 객체 검출 및 BEV (Bird Eye's View) 생성 연구와 함께 진행되어, 이 둘의 정보를 입력으로 받아 자율 주행 차량의 trajectory를 생성하는 기술을 개발하는 것을 목표로 했다. 본 연구의 모델은 아래 그림과 같이 도로 정보 및 주변 차량이 표시된 BEV와, 3차원 객체 검출을 통해 얻은 주변 차량들의 정보(위치, 속도, 차량 종류)를 입력받아 8초 뒤까지의 trajectory (10Hz를 기준으로, 총 80개의 waypoint)를 생성하도록 학습되었다.

기존 LLM과 같이 연속된 토큰을 생성하는 Transformer는 이전 토큰들을 통해 다음 토큰을 하나씩 반복 생산한다. 그러나 이러한 auto-regressive (AR) 방법은 속도가 매우 느려 자율주행과 같이 빠른 실행이 필요한 환경에서는 활용할 수 없다. 따라서 약 80개의 waypoint를 생성하기 위해 non-auto-regressive (NAR) 방법을 채택했다. 그러나  아래 그림과 같이 causal mask를 통한 AR 구간을 추가했데, 이렇게 트레이닝 중 NAR 구간과 AR 구간을 함께 활용하면 이후 추론 단계에서 waypoint의 정확도가 증가하는 것을 확인했기 때문이다. 물론 이 AR 구간은 이는 학습중에만 활용하며 실제 추론 단계에서는 활용하지 않는다.

Result

본 연구의 결과로 Motional nuPlan benchmark에서 reinforcement learning 없이 imitation learning 만으로도 open loop와 closed loop 통합 8위를 달성했다. 모델이 공개된 상위권이 모두 rule-based인 점을 감안했을 때 상당히 높은 수준을 달성했다고 볼 수 있다. 본 연구가 imitation learning인 만큼 closed loop를 제외한 open loop 성능만을 비교했을 땐 공동 2위를 달성했다.

아래 이미지는 본 연구의 모델이 생성한 trajectory와 validation dataset의 trajectory를 비교한 것이다. 다소 차이는 있으나 주행 경로를 보았을 때 상당히 비슷한 것을 확인할 수 있다.