實驗室介紹 RDS Lab

實驗室資訊 (Lab Information)

- 實驗室名稱： 可靠數位系統實驗室 (Reliable Digital System Lab, RDS Lab)

- 實驗室位置： 7館，70930室 (R70930, Building 7)

- 電 話： 03-4638800 轉 7011轉930# (+886-3-4638800 ext. 7011 ext. 930#)

- 傳 真： 03-4639355 (+886-3-4639355)

研究方向 (Research Directions)

本實驗室的研究重點為VLSI系統演算法與架構設計，研究重點在於同時兼顧系統效能與可靠度，如圖一 。

- 針對傳統二維晶片(2D IC)設計，加入容錯演算法與架構來降低系統出錯率並維持部分功能正確性。

- 針對未來三維晶片(3D IC)設計，考慮三維晶片的熱議題，探索兼顧效能與溫度之共同設計。

圖一、同時兼顧系統效能與可靠度之VLSI系統演算法與架構設計

目前研究計畫 (Current Research Projects)

本實驗室目前的研究計畫將著重在同時考慮效能、功耗、溫度之三維晶片系統，包含:

研究方向(一): 三維可重組深度學習記憶體加速器系統

3D RDLMA 架構圖。此架構的目標為實現深度學習網路應用，如圖左半部所示。在圖像比對與語音辨識等應用，可透過深度學習網路進行特徵比對，判別輸入資料的相似性。深度學習網路層數越多，判斷的精確度越高，但運算複雜度越高，運算時使用到的參數也越多。此外，為了快速且精確地完成大量運算，必須設計支援大量平行處理與特殊功能運算之加速器。

基於上述理由，本計畫預期將開發三維可重組深度學習記憶體加速器系統（3D RDLMA），如圖右半部所示。3D RDLMA 同時整合具高容量與高頻寬之三維記憶體來儲存大量參數，具大量平行處理且支援特殊功能運算之深度學習加速器來執行深度學習運算，並透過重組式連接電路解決加速器與加速器、加速器與三維記憶體之連接問題，實現不同深度學習應用。 不同的深度學習應用，三維記憶體加速器系統中加速器設計所需要的運算功能不同，連接方式也各異，儲存參數所需要的記憶體頻寬與容量也不同。根據相關文獻比較結果顯示，較少同時考慮多種深度學習網路之加速器設計，針對堆疊記憶體與深度學習加速器之三維架構，也較少探討溫控設計。因此本計畫預期開發之深度學習加速器、三維記憶體、重組式連接電路，可以支援即時與非即時之重組，藉由調整深度學習加速器功能、三維記憶體架構與傳輸頻寬、晶片內網路連接方式，不僅可以支援不同深度學習網路應用，當三維記憶體加速器系統遭遇到晶片過熱、功耗過高、硬體故障等問題，可透過重組，改變深度學習加速器、三維記憶體、晶片內網路之運算與連接方式，雖然在效能

上有所損耗，但依舊可以在晶片溫度與系統功耗的限制下，維持系統需求所需之判斷正確率。

上圖為本計畫目標。傳統深度學習架構，由於運算複雜度高，在既有的硬體架構與有限的計算時間內，判斷錯誤率高，如圖(a)。為了降低判斷錯誤率，透過增加深度學習網路架構層數，但計算時間也隨之大幅提升。因此藉由設計可支援大量平行之深度學習加速器設計，搭配高存取頻寬之三維記憶體設計[69]-[72]，並加上高吞吐量的連接電路設計，可以降低延遲時間以達到同時兼具低錯誤率與低計算時間之深度學習記憶體處理器架構。但低錯誤率與低延遲架構，由於在很短時間讓加速器、三維記憶體、連接電路高速運作，將導致高功率密度，導致三維晶片溫度快速累積，造成過熱的情況。

低錯誤率與低延遲架構並不適用於所有深度學習應用，不同應用的辨識錯誤率與計算時間皆不同。在圖(b)顯示了低錯誤率與低延遲之深度學習架構可能遭遇的過熱問題。在三種不同應用下（應用 1、應用 2、應用 3），低錯誤率與低延遲之深度學習架構都盡量以最短時間完成計算，完成運算後晶片可進行低功耗模式以降低功耗。雖可以盡量縮短計算時間，但功耗的劇烈變化，將造成高功耗密度與高溫度變異，也可能造成部分時間溫度超過預設溫度限制，產生過熱造成晶片損壞。若是設計具有可重組功能之可重組深度學習記憶體加速器系統，針對不同應用碰到的辨識困難程度與計算時間，動態調整對應之深度學習加速器、三維記憶體、連接電路架構與功能，在不同應用下考慮功耗密度與溫度變異的影響，可在溫度不超過預設限制的情況下，針對應用需求在合理的計算時間內維持計算錯誤率。

研究方向(二): 混合式記憶體架構設計

圖是本計畫概念示意圖。圖(a)顯示出二維混合記憶體架構，二維混合記憶體架構透過晶片外連線（off-chip interconnection）的方式連接DRAM與NVM達到混合記憶體架構。但傳統混合記憶體架構中，DRAM與NVM晶片因晶片外連線關係將導致晶片外連線的頻寬不足，因而限制了系統效能[70]。此外，DRAM晶片與NVM晶片在存取速度上有差異，同時也會影響混合記憶體架構之效能。圖(b)顯示本計畫欲研究之混合記憶體系統，透過三維晶片架構堆疊DRAM與NVM晶片形成三維混合記憶體系統（Three Dimensional Hybrid Memory System，3D HMS）。3D HMS架構藉由三維晶片的特性，以TSV連接DRAM晶片與NVM晶片形成三維架構，實現高速資料傳輸，解決傳統晶片外連線之頻寬不足的問題。並透過在記憶體控制器中加入【高可靠資料存取設計】、【低功耗工作映射設計】、【抗熱點溫度搬移設計】。透過【高可靠資料存取設計】，3D HMS可將存取NVM晶片的輸入資料進行即時壓縮，以降低資料存取次數並提高NVM晶片的可靠度；透過【低功耗工作映設控制設計】，藉由改變存取指令與位址，將存取DRAM晶片的部分資料映射至NVM晶片中，降低DRAM晶片運作時產生功耗；透過【抗熱點溫度搬移控制設計】，3D HMS可在系統溫度超過限制時，透過改變存取指令與位址，進行即時工作搬移，以避免超過預設溫度限制。此外，上述三項設計除可改善3D HMS之存取限制、功耗、溫度問題，同時亦可藉由對DRAM與NVM晶片存取資料與位址的分配，達到提升3D HMS系統效能的效果。

圖為本計畫之目標。3D HMS 藉由【高可靠資料存取設計】可降低對 DRAM 與 NVM 之存取次數，以延長 NVM 晶片的使用時間，同時減輕 3D HMS 的溫度與功耗問題，如圖(a)所示；藉由【低功耗工作映射設計】，透過分配存取資料於 DRAM 晶片（M）與 NVM 晶片（NVM），降低 3D HMS之靜態功率消耗問題，同時減輕 3D HMS 的溫度與存取限制問題，如圖(b) 所示；藉由【抗熱點溫度搬移設計】，即時搬移過熱區域的資料存取，除控制 3D HMS 之溫度低於預設的溫度限制外，同時也可以降低功耗與存取限制問題，如圖(c)。上述三項技術雖然各別解決存取限制、功耗、溫度問題，實際執行則是互有相關，例如【高可靠資料存取設計】透過降低存取次數同時也降低讀寫功耗與晶片溫度，但存取的延遲時間上升；而【低功耗工作映射設計】透過把資料搬移到 NVM 來降低功耗以及溫度，但卻造成 NVM 被大量存取，所造成 NVM 存取時的高延遲時間；另外，【抗熱點溫度搬移設計】透過搬移資料至其它記憶體來降低該記憶體的溫度、被存取次數與功耗，但卻會影響其它記憶體存取次數、功耗與延遲時間。因此在設計上會同時考慮。