自適應AI運算系統設計
軟硬協同打造低功耗自適應AI平台,突破邊緣AI能效瓶頸
軟硬協同打造低功耗自適應AI平台,突破邊緣AI能效瓶頸
隨著深度學習模型日益龐大,傳統處理器受限於記憶體存取瓶頸,能效大幅下降。我們將持續探索以 ReRAM 等新興記憶體為核心的運算架構,目標在於發展可動態調整能耗與精度的記憶體內AI運算,減少資料搬移並提升低功耗推論效能
多模型多使用者推論常造成 記憶體過載與資料搬移延遲。我們關注自適應記憶體 資源管理機制,透過動態批次化與任務分派來避免記憶體抖動, 期望在受限記憶體下仍能有效支援多重 AI 推論
在能源受限的邊緣或間歇性環境中,僅靠硬體優化不足以滿足即時性需求。我們討論如何利用軟硬體協同系統設計,以建立可長期運作且即時反應的智慧感測系統 ,以因應智慧醫療、智慧農業等場域需求