Our laboratory focuses on Computer Vision, Deep Learning, and Generative Artificial Intelligence, with a current emphasis on Industrial Anomaly Detection and Intelligent Visual Inspection. We investigate methods for identifying and localizing visual defects under challenging conditions, including limited normal training data, scarce defect examples, and variations across industrial products.
Our research integrates visual representation learning, generative models, multi-view analysis, and 3D computer vision. Current research activities include industrial defect inspection, diffusion-based anomaly detection, synthetic-data-driven 3D defect investigation, and category-agnostic visual inspection.
In addition to anomaly detection, our laboratory maintains established research interests in generative image modeling, facial analysis, vision-language models, 3D reconstruction, and face reenactment. Our work is supported by government-funded research, industry–academia collaboration, and international research partnerships.
We study visual anomaly detection for industrial quality inspection, emphasizing feature learning from normal samples and reliable defect localization under limited-data conditions. Our research interests include unsupervised, few-shot, and zero-shot anomaly detection, multi-view inspection, and 3D defect analysis.
Our recent research includes Diffusion-to-Detection (D2D), a training-free framework for zero-shot anomaly detection, published in Neurocomputing in 2026.
Related research collaborations include:
TSMC: Synthetic-data-driven point-cloud modeling for 3D defect investigation.
HIWIN: Defect detection based on comparison learning from defect-free samples (completed in 2026).
Óbuda University, Hungary: Next-generation visual inspection using multi-scale feature fusion and category-agnostic detection.
These projects explore complementary approaches to industrial inspection, including normal-sample-based learning, synthetic data, 3D representations, and generalization across product categories.
Our research encompasses 3D facial reconstruction, cross-pose face recognition, and multi-view human reconstruction. We also investigate the integration of geometric information into visual learning and generative models, with applications in spatial understanding, image synthesis, and 3D defect investigation.
We investigate generative models for attribute-controlled image synthesis, style transfer, synthetic data generation, and image editing. Recent applications include diffusion-based facial image generation for face recognition enhancement and scene text generation and editing, with publications at ICIP 2025, MVA 2025, and CVPR Workshops 2025.
We explore facial age estimation by integrating semantic and structural representations through Mixture-of-Experts (MoE) architectures. Recent work investigates vision-language models for facial age estimation, with publications at MVA 2025 and CVPR Workshops 2026.
We investigate facial expression and pose transfer while preserving identity and visual fidelity. Our Pose Adapted Shape Learning (PASL) framework, presented at CVPR 2024, addresses large-pose face reenactment through pose-adaptive representation learning and shape generation.
Related research also explores personalized facial image generation and the disentanglement of pose and age representations.
Our laboratory collaborates with industry and international academic partners to advance industrial anomaly detection and intelligent visual inspection.
Recent collaborations include Taiwan Semiconductor Manufacturing Company (TSMC), HIWIN Technologies, and Óbuda University in Hungary. These research activities address normal-sample-based defect detection, synthetic-data-driven 3D defect analysis, and category-agnostic visual inspection.
The laboratory also participates in government-funded and institutional research programs, including NSTC and InnoLeap, supporting broader research in generative AI and computer vision.
Further information is available on our Research Projects page.
本實驗室以電腦視覺（Computer Vision）、深度學習（Deep Learning）及生成式人工智慧（Generative AI）為主要研究領域，目前特別著重於工業異常檢測（Industrial Anomaly Detection）與智慧視覺檢測之研究。
研究重點包含在正常樣本有限、瑕疵資料稀少及複雜工業場景下，如何結合深度視覺特徵、生成模型、多視角影像與三維資訊，提升異常辨識、瑕疵定位及模型泛化能力。
本實驗室除持續進行工業異常檢測相關研究外，亦投入擴散模型、三維電腦視覺、臉部年齡估計、視覺語言模型及生成式影像處理等領域。歷年研究成果涵蓋跨視角人臉辨識、大視角人臉重演、三維重建及影像生成，相關成果發表於 CVPR、CVPR Workshops、ICIP、MVA、IEEE Transactions 及 Neurocomputing 等國際學術會議與期刊。
目前主要研究方向如下：
工業異常檢測（Industrial Anomaly Detection）旨在辨識產品影像中偏離正常樣本分布的異常特徵，並定位可能的瑕疵區域，可應用於自動化品質檢測與智慧製造。
由於實際工業環境中異常樣本通常稀少，且瑕疵外觀、尺度及類型具有高度變異性，如何在有限資料條件下建立具泛化能力的檢測模型，為此領域的重要挑戰。
本實驗室研究以正常樣本為基礎的特徵學習、非監督式異常檢測（Unsupervised Anomaly Detection）、少樣本學習（Few-Shot Learning）、零樣本異常檢測（Zero-Shot Anomaly Detection），以及多視角與三維資訊輔助的瑕疵分析。
近期研究成果包含 Diffusion-to-Detection（D2D），提出以擴散模型為基礎的免訓練（Training-Free）零樣本異常檢測框架，相關成果發表於 Neurocomputing 2026。
除了學術研究外，實驗室亦透過產學合作及國際學術合作，探討正常樣本比對學習、合成資料輔助三維瑕疵分析、多尺度特徵融合及跨類別視覺檢測等技術。
本實驗室目前以工業異常檢測及智慧視覺檢測為重要研究方向，並透過產學合作與國際學術合作，推動相關技術之研究與應用。
近期合作單位包含台積電（TSMC）、上銀科技（HIWIN）及匈牙利奧步達大學（Óbuda University），研究議題涵蓋正常樣本比對學習、合成資料輔助三維瑕疵分析，以及多尺度特徵融合與跨類別視覺檢測。
此外，本實驗室亦執行國科會及 InnoLeap 相關研究計畫，持續拓展生成式人工智慧與電腦視覺之研究。
詳細合作計畫與執行資訊請參閱「研究計畫（Research Projects）」頁面。
三維電腦視覺研究透過二維影像、深度資訊及多視角觀測，取得物體的幾何結構與空間特徵。
本實驗室歷年研究涵蓋三維人臉重建、跨視角人臉辨識及多視角三維人體重建，利用深度學習與幾何資訊提升視覺辨識及重建效能。
相關研究亦延伸至結合三維資訊的生成式視覺技術，探討空間結構、合成資料及三維表示於影像生成與瑕疵分析中的應用。
生成式影像技術旨在學習影像資料的特徵分布，進而產生符合指定條件的影像內容。
本實驗室研究生成對抗網路（GAN）與擴散模型（Diffusion Models）等生成式方法，探討影像屬性控制、風格轉換、合成資料生成及影像編輯等應用。
近年研究包含透過屬性指定與風格轉換擴散模型產生人臉影像，以強化人臉辨識系統，以及利用擴散模型進行場景文字編輯。此外，亦研究結合三維幾何資訊的場景文字生成方法，提升生成內容與場景結構的一致性。
相關成果發表於 ICIP 2025、MVA 2025 及 CVPR Workshops 2025。
臉部年齡分析主要探討如何從人臉影像中擷取與年齡相關的外觀、結構及語意特徵，以提升不同年齡族群的估計準確度。
本實驗室近年運用混合專家模型（Mixture of Experts, MoE），整合語意與結構資訊進行年齡估計，並研究視覺語言模型（Vision-Language Models, VLM）與專家模型的結合，以改善不同年齡區間的特徵表示與預測能力。
相關研究成果發表於 MVA 2025 及 CVPR Workshops 2026。
此外，本實驗室過去亦投入臉部年齡轉換（Facial Age Transformation）研究，探討在改變人臉年齡外觀的同時，保留人物身分及影像屬性。
人臉重演（Face Reenactment）旨在將參考人臉的姿態與表情轉移至來源人臉，同時保留來源人物的身分特徵。
由於大角度姿態變化容易造成身分特徵流失與影像生成失真，如何兼顧身分一致性、姿態轉換及影像品質，為此領域的重要研究課題。
本實驗室提出姿態適應形狀學習方法（Pose Adapted Shape Learning, PASL），透過姿態適應編碼器、循環一致性形狀生成器及注意力機制，改善大視角人臉重演時的身分保留與生成品質，相關成果發表於 CVPR 2024。
目前亦執行國科會研究計畫「基於視覺自回歸模型之主角驅動個人化生成與姿態-年齡解纏研究」，持續探討個人化影像生成及姿態與年齡特徵解纏等議題。
本實驗室透過國科會研究計畫、校級研究計畫、產學合作及國際學術合作，推動電腦視覺、生成式人工智慧、智慧視覺檢測與三維影像分析相關研究。
以下列出近期主要研究計畫。
國家科學及技術委員會（NSTC）｜執行中
計畫名稱：基於視覺自回歸模型之主角驅動個人化生成與姿態-年齡解纏研究
擔任職務：主持人
執行期間：115/08/01–118/07/31
InnoLeap 跨域國際躍升研究計畫｜執行中
擔任職務：總主持人
執行期間：115/09/01–116/08/31
Taiwan Tech and Óbuda University（匈牙利奧步達大學）｜執行中
計畫名稱：Next-Generation Visual Inspection: A Unified Approach to Multi-Scale Feature Fusion and Category-Agnostic Detection
擔任職務：主持人
執行期間：2026/07/01–2027/06/30
台積電（TSMC）｜執行中
計畫名稱：Synthetic-Data-Driven Point-Cloud Modeling for 3D Defect Investigation
擔任職務：主持人
執行期間：2026/03/01–2028/02/28
上銀科技（HIWIN）｜已結案
計畫名稱：基於無瑕疵樣本比對學習之瑕疵研究
擔任職務：主持人
執行期間：2025/08/01–2026/07/15
以下列出本實驗室近期代表性研究成果，涵蓋異常檢測、生成式人工智慧、三維視覺、臉部分析及影像生成等領域。
“Diffusion-to-Detection (D2D): A Training-Free Framework for Zero-Shot Anomaly Detection,” Neurocomputing 2026. 提出以擴散模型為基礎的免訓練零樣本異常檢測框架，探索有限資料條件下的影像異常辨識。
“Syn3DTxt: Embedding 3D Cues for Scene Text Generation,” CVPR Workshops 2025. 結合三維幾何線索與場景文字生成，提升生成內容與場景結構的一致性。
“Attribute-Specified Generation And Style-Transfer Diffusion For Face Recognition Enhancement,” ICIP 2025. 研究具屬性控制與風格轉換能力的擴散式人臉影像生成方法，以強化人臉辨識。
“Style-Preserving Diffusion for Scene Text Editing,” MVA 2025. 研究利用擴散模型進行場景文字編輯，並保留原有影像風格。
“AgeMoVLE: Age Estimation with Mixture of VL Experts,” CVPR Workshops 2026. 結合視覺語言模型與混合專家架構，研究不同年齡族群資料分布不均下的臉部年齡估計問題。
“Dynamic Age Estimation via Mixture of Experts: Bridging Semantic and Structural Models,” MVA 2025. 結合語意與結構特徵，運用混合專家模型提升臉部年齡估計效能。
“Pose Adapted Shape Learning for Large-Pose Face Reenactment,” CVPR 2024. 提出 PASL 架構，透過姿態適應編碼、形狀學習與注意力機制，改善大視角人臉重演的身分保留及影像生成品質。
除上述近期研究外，本實驗室歷年亦在人臉辨識、臉部年齡轉換、影像修補、非接觸式心率估測、顏面神經失調症狀分析及三維重建等領域累積多項研究成果。以下保留歷年代表性論文及其技術貢獻。
重要研究成果包含發展以生成對抗網路（Generative Adversarial Network, GAN）為主軸的人臉辨識技術、透過人臉視頻的深度學習判讀心跳、即時大角度人臉關鍵點偵測、以深度學習量化顏面神經失調症狀、以三維重建進行大視角人臉辨識、人體重建、以曲面轉置之三維人臉重建。現階段研究如下:
臉部重現
一種將參考人臉的臉部動作轉移至來源人臉上的技術，轉換的臉部動作包括臉部的姿態以及表情。本技術透過輸入一張來源人臉及一張參考人臉，系統將根據來源人臉提取其身分特徵，並同時擷取參考人臉之姿態、表情特徵，最後生成一張和參考人臉相同表情、姿態並同時保留來源人臉的身分特徵的人臉圖片。
臉部年齡轉換算法
由於最新的深度學習方法所取得的最新進展，臉部年齡轉換算法的開發已成為計算機視覺領域的一個有吸引力的研究主題。 在給定臉部作為輸入的情況下，臉部年齡變換是指針對輸入臉部圖像的生成，在年齡更大或更小時,可以很好地保留輸入臉部的身份。 由於物理老化過程引起的面部外觀變化的內在復雜性，這是一項具有挑戰性的任務，這可能與個人的身體狀況，性別，種族和其他因素有關。 近年來，由於生成對抗性網絡（GAN）方法的有效性，以及大量臉部年齡數據集的可用性和商業潛力，它受到了越來越多的關注。
人臉辨識與生成對抗網路
我們提出角度導向臉部編碼與正規化模型 (Pose-Oriented Encoding and Normalization)，旨在解決跨角度臉部識別問題。不同於主流方法使用單一編碼器 (Encoder) 通過訓練大量數據促進跨角度人臉辨識、或將任意人臉旋轉至特定角度 (Normalization) 後再進行辨識，本團隊研究臉部角度對於臉部識別的影響，製作多種角度導向的編碼器與臉部正規化模型，並設計一系列角度導向的臉部辨識測試流程。本團隊的研究顯示所提出的臉部編碼與正規化模型在公開測試資料庫IJB-A與IJB-C均展現具競爭力之辨識率。
三維人體重建
提出了一種以體素(Voxel)為基本元件之多視角三維人體重建的自編碼網路。透過大量三維人體掃描資料之端到端學習(End-to-End Learning)，自編碼網路可運用其端到端架構(End-to-End Structure)重建二維人體圖像之三維人體模型。本文提出之自編碼網路不需要二維與三維的關節點位置，也不需要擬合處理，而是透過二維編碼器、三維解碼器、多視角整合架構與優化器以生成細緻的三維人體模型。提出的方法具有下列優勢: 1.較快的三維模型重建速度 2.訓練資料並不需要繁雜之標註 3.較易訓練與運用的端對端三維重建架構。
除了以 GAN 為主軸的人臉辨識研究成果發表於今 2020年8月的 IEEE Access，重要研究相關論文發表於2020年8月之前，依時間順序列表如下：
“Dual-View Normalization for Face Recognition,” IEEE Access
首次提出雙視角正規化，挑戰現有的人臉正規化僅考慮轉至正臉的研究，驗證雙視角的特徵學習優於僅考慮正臉的單視角特徵學習；提出雙視角正規化學習網路，可有效學習跨視角的身份特徵，並可將任意輸入視角，轉型為高品質擬真之正臉和45度側臉；提出的雙視角正規化導致的辨識率優於目前最佳的人臉正規化導致的辨識率。
“A Deep Learning Framework for Heart Rate Estimation from Facial Videos,” Neurocomputing
提出以時頻轉換式（Time-Frequency Transformation, TFT）將一維膚色訊號轉成二維時頻圖，把心率量測轉成影像辨識，可用深度學習解決。前期成果發表於 IJCB 2017。
“Edge-Embedded Multi-Dropout Framework for Real-Time Face Alignment,” IEEE Access
首次提出以人臉輪廓深度學習為骨幹，進而解決大角度人臉關鍵點偵測的問題。因為解法創新，效果優越，部分成果除發表於 ICIP 2018，並得到 CVGIP 2018 最佳論文獎，延伸之期刊版本刊登於 IEEE Access 2019。
“Deep Hierarchical Network with Line Segment Learning for Quantitative Analysis of Facial Palsy,” IEEE Access
首次提出以深度學習模型量化顏面神經失調的症狀，並發表全球第一個公開的顏面神經時調人臉資料庫（YouTube Facial Palsy, YFP），IEEE Access 在論文送審的三週內全稿接受，無需修改。前期研究成果發表於CVPRW 2018 與 AVSS 2018。本研究受台北醫學大學邀請，於該校學術討論會，對全院醫師發表研究成果。
“Fast Landmark Localization with 3D Component Reconstruction and CNN for Cross-Pose Recognition,” IEEE Trans. Circuits and Systems for Video Technology
提出快速人臉關鍵點偵測、人臉局部重建和深度學習進行大角度人臉辨識，突顯合成資料的增量，有助於深度學習網路辨識效能的提升。相關研究成果獲得 CVGIP 2016 碩士論文獎與 ARIS 2017 Best Paper Award。
“Robust Cross-Pose Face Recognition using Landmark Oriented Depth Warping,” Journal of Visual Communication and Image Representation
本研究提出以人臉深度翹曲(Warping)進行三維人臉重建，方法先將 FRGC資料庫中人臉依種族和性別分類，再由每個類別中透過聚類 (Clustering)分析，擷取各類別中人臉關鍵點的分佈子集。當二維目標人臉輸入時，透過關鍵點的比對，尋得資料庫中最接近的三維人臉，透過翹曲將二維人臉映射至三維人臉。
“Hybrid Ageing Patterns for Face Age Estimation,” Image and Vision Computing
本研究提出混合式年齡模式模型，利用多尺度皺紋特徵擷取器進行年齡預測。先透過人臉關鍵點偵測，將臉部劃分為10個局部區塊，再由每個區塊擷取個別之皺紋特徵，利用支持向量機建立此特徵與年齡的回歸模型。提出的方法可在FG-NET、FERET、MORPH等資料庫獲得傑出的效能。
“Face Recognition Across Poses Using a Single 3D Reference Model,” IEICE Trans. on Information & Systems
延伸目前最先進的人臉重建技術至跨視角人臉辨識，先從二維人臉影像重建三維人臉，透過三維人臉模型取得二維多視角投影，並由此解決多視角之人臉辨識。本研究深入探討如何對齊二維人臉與三維人臉、不同三維人臉參考模型的影響、以及不同的測試組與註冊組的設定對辨識率的影響。
“RGB-D based Face Reconstruction and Recognition,” IEEE Trans. on Information Forensics & Security
本研究探討以RGB-D人臉影像註冊但測試時僅有RGB人臉影像，即註冊時可取得深度影像，但辨識時無深度影像之人臉辨識。因深度影像的雜訊會隨人臉的距離增加，本研究提出可有效濾除深度影像中雜訊的三維人臉重建。先透過人臉關鍵點偵測，對齊含雜訊之RGB-D人臉影像與不含雜訊之三維人臉模型，進行局部區塊深度之翹曲，將不含雜訊之模型區塊取代註冊影像之雜訊區塊。經多項資料庫之測試，本方法之效能優於其他最新之方法。
“A Comprehensive Review of Past and Present Image Inpainting Methods,” Computer Vision and Image Understanding
這篇論文回顧了影像修補的相關研究，範圍涵蓋傳統影像處理的方式以及最新深度學習的方法。我們把傳統方法分類為5項：典型紋理、典型結構、擴散法、新書表示法及混合法。深度學習的方法分為卷積神經網路和生成對抗網路。我們也介紹了效能評估資料庫以及評估的協定，提供未來研究的方向參考。
“Wasserstein Divergence GAN with Cross-Age Identity Expert and Attribute Retainer for Facial Age Transformation,” IEEE Access
在以GAN進行的年齡轉換研究中，常見到利用人臉辨識專家網路與影像屬性擷取網路進行身分與屬性之保留，但幾乎沒有研究解釋為何選用該人臉辨識專家網路與屬性擷取網路的原因。本研究比較了近期發表的人臉辨識專家網路與常見之屬性擷取網路，透過大量系統化的實驗，評比了這些網路在身分保留與屬性保留的效能，並探討這兩類網路互動的關係。在製作人臉年齡轉換器時，本研究提供了如何選用與設定上述兩類網路模組的重要訊息。