應義隆電子針對新興電動巴士技術之需求,與其共同成立北科義隆車用AI 產學研發中心,透過義隆電子提供研發經費、設備及研發人員,共同進行車用人工智慧感知融合控制關鍵技術研發,培養車電產業所需之碩博士級高階研發人才,以提升雙方研發能力。
研發成果之亮點在車周感知技術發展全自動標記系統,用以建立維護AI 訓練資料庫,其中包含可行駛路面、行人、車輛等交通物件,對於後續的AI 演算法訓練有非常大的幫助。在AI演算法的部分,本計畫基於Yolov4-tiny 進行改進,結合長寬比例的限制等技巧精進辨識率,並且能夠大幅減少模型所需計算量,以運作於edge device 使用為目標繼續演進。並且對於多感測器融合技術中,完成設計光達、雷達與影像校正用的校正板,並完成校正程序的開發。在完成光達、雷達與影像的校正技術後,未來透過資料庫中的光達與雷達提供的距離資訊,可以加強單眼影像在晃動時對於AI 演算法的精進,並且透過發展多感測器融合演算法提高物件資訊的準確度。在車輛控制系統的部分進行整車控制介面的研改,包含線控油門、線控煞車、線控轉向。線控油門中可直接以驅動馬達的扭力訊號作為控制,轉向的部分已經完成大車上的改裝設計,透過轉向水平軸串接一電動輔助轉向系統完成,在線控煞車系統利用新設計之機構完成整車控制介面的線控。由於可長期使用之可控或可改裝致動器之大客車底盤取得不易且成本過高,不易發展大型車車體控制相關技術,而合作企業義隆電研發能量與產品規劃,主要聚焦於ADAS 系統產品,因此本年度起本案擬聚焦AI 感知、融合與控制決策關鍵技術模組開發與產品化,對於大巴平台之取得部分,計畫團隊已完成北科大校園巴士改裝為實驗平台,並將電巴業者(如成運等企業)租賃大巴平台,以落實實車場域驗證。再者,本計畫針對安全疑慮的改裝部分一定會由專門人員來協助確認,以及在測試上,也會移師至專門的測試場域進行,如ARTC、虎頭山及沙崙的台灣智駕測試實驗室進行實驗測試。且在資料收集上將參考現有之大型自駕車應用開發資料庫之建構與資料標註方式,如nuScenes、A2D2,並完成本案之大型車輛自動駕駛感知功能開發資料庫。
在模擬器上完成一系列預先設計之多種模擬實際交通狀況之情境驗證,確認皆可透過所實現之視覺感知系統完成偵測辨識並給予警示後,將進一步進行實車的驗證。圖1為本計畫所規畫之實車測試攝影機配置圖,其包含七支攝影機設備,兩隻攝影機會用在大型車盲點資訊系統(BSIS)上,另外各別一支攝影機使用在車輛起步盲區警示系統(MOIS)與RVS 系統,剩餘的三支攝影機將負責車前區域的監控。本計畫所開發的內輪差區域交通物件報警系統、多相機資訊整合BEV 環境感知技術、即時3D 物件框偵測技術等將集合成BEV環境感知技術系統,並以所配置之攝影機輸入影像做為系統輸入,遵循國際上各大企業常用於自駕車系統之標準進行,透過系統駕駛時間評估該系統穩定度。所開發之自動駕駛視覺感知系統將移植至合作企業提供的AI-Box 車載邊緣運算平台上執行,於國內各種道路種類,包含一般道路、產業道路、國道等,各完成12 小時的駕駛時間,藉此做為系統驗證結果,以確認所提出系統之穩定度。
圖1 實車驗證車輛攝影機配置圖
利用電腦視覺投影幾何技術,根據影像車寬、真實車寬、攝影機高度、底線座標、以及消失線資訊,如圖2-2 所示,計算出影像中車輛物件之距離d,不同偵測框在影像中的位置,會對應一組距離資訊,然而,真實車寬是個未知會變動的參數,利用此模型會估測距離,會因實際的車寬估測消失線而存在測距的不確定性,在此,我們推倒利用攝影機俯角資訊估測消失線的模型,此模型能夠穩定估測出現場消失線的影像座標資訊,進而提升AI 影像動態測距準確性,利用AI 影像動態物件測距與光達物件距離進行性能分析,其測距估測結果映射至3D 點雲空間,如圖2-3 所示,左邊影像為影像物件偵測和追蹤的結果,經由獲得偵測影像物件之Bounding box 底線座標值和消失線資訊,計算可靠的影像物件距離資訊,並將映射至點雲空間,如圖3右邊綠色標色的區域,即為估算出各個影像物件距離,我們主要針對2D 之AI 影像物件辨識框的物件,進行距離的估測和驗證,本計畫影像測距估測方法採用CenterTrack 估測影像物件位置和距離,並利用B1.1 的影像與光達校正的參數,將影像物件所對應的光達點雲距離,當作Groundtruth,以評估影像物件測距的性能準確度。計算影像FOV 內 影像物件距離/光達物件距離的平均準確率,以模型為基礎的測距性能為 91.1%,本計畫使用以學習型的測距模型測距性能為 96.4%。主要是因為學習型的測距模型(CenterTrack),針對先前以模型為基礎的測距方式,在影像跳動的測距性能不佳的情形,性能有所改善,其估測其動態測距準確性能提升5.3%。
圖2 相機測距模型
圖3 相機測距映射至3D 點雲空間的結果關
通常車輛在中高車速下,道路較直,前車的資料比較不會受道路幾何影響,所以一般的自適應巡航控制(Adaptive Cruise Control, ACC)在中高車速以上才會作動。低速域的場景通常包含道路較彎或是道路壅塞,屬於道路幾何複雜以及用路人間互動複雜的情景。因此,為解決複雜的場景,使系統具備泛化特性,本計畫預計採用深度學習技術,透過雷達、攝影機、以及光達等多感測器的感知資訊(圖4),學習自適應巡航控制決策。為了使系統輸出較穩定的控制量,本計畫透過此模型輸出高階的決策比如加速、減速、維持現狀等等,再根據不同的策略透過專家系統輸出最終的控制量。比如當前方車輛減速,模型需輸出減速的決策,再經由專家系統決定減速的多寡,使本車與前車保持安全的時間車距(Time Headway, TH)。
圖4 自適應巡航控制場景示意圖