3-dimensional noise reduction은 2D-NR이 갖는 크게 두가지 단점을 보완하기위한 동영상 잡음제거 기법이다.
2D-NR 단점으로는 첫째 제거필터(Mean, Gaussian, Bilaternal filter etc)에 이용되는 candidate 화소들의 정보량이 적어 SNR의 상승에 한계가 있다는 점이다. 이를 보완하기 위해 Non-Local-Mean method가 경우에 따라서 효과적으로 이용되기도 하지만 edge 영역에서 blur 되거나 부자연스런 edge가 발생한다.
두 번째 단점으로는 high-frequency image detail이 열화 되는 잡음 제거의 한계성이 있다. 위 두가지 단점을 효과적으로 제거하는데는 동영상의 경우 3D-NR 기법이 효과적이다.
3D-NR에는 아래 그림과 같이 블록간 SAD(Sum of Absolute Difference)를 이용한 Motion의 유무 정보를 이용하여 적응적으로 처리하는 motion adaptive 3D-NR이 있다. 이 방식은 영상의 잡음을 추정하고 Motion의 유무를 검출하여 추정 잡음지수와 motion 정도에 따라 가중치 alpha를 조정하여 IIR LPF-filter를 구현함으로써 영상 잡음을 줄이는 기법이다. 이방식의 단점은 motion이 큰 영역에서의 잡음 제거 효과가 없고 오검출시 motion 영역의 끌림현상(blur)이 나타나는 단점이 있다. Motion 영역의 잡음 제거 효과를 높이기 위해 Spatial 2D-NR과고 병행하는 Spatio-Temporal NR 기법도 있다.
[motion-adaptive 3D-NR]
아래그림은 언급한 Motion 영역의 NR 특성을 향상시키는 방법으로 임의의 Search Window 영역에서 Objecet Motion을 추적(Motion Vector)하여 filtering 하는 능동방식의 motion-compensated 3D-NR이 있다. 이 방식을 통하여 motion 영역의 잡음 제거 효과와 더불어 끌림현상 또한 억제가능하다. 하지만 이방법의 경우 빠른 모션 검출을 위해서 넓은 크기 search window와 많은 연산량이 추가된다.
[motion-adaptive vs. motion-compensated 3D-NR]
다음 동영상은 ICM의 motion compensated 3D-NR 결과이다.
3DNR+4xUpscaler+Resoultion Enhancer 결과.