Down-Sampling:

이렇게 최대 가능 영상주파수 fs/2로 제한된 영상을 1/N로 Down Scaling 시는 decimation 된 영상주파수 대역이 (fs/2)/N으로 줄어 들게 되며 원영상에 Pre-LPF(Anti-Aliasing filter)를 가하여 (fs/2)/N 이상 대역을 제거해 주어야 한다. 따라서 [(fs/2)/N,(fs/2)] 고주파 대역 손실로 인한 bluring 현상이 발생한다. 아울러 cut-off 대역을 ideal-LPF 와 같이 과도하게(sharp) 잘라 낼 경우 추가적인 ringing artifact 현상이 발생하게 된다.

Up-Sampling:

Down sampling과는 반대로 N-Up sampling의 경우 영상의 포함 가능 주파수 대역이 원영상 fs/2의 N 배로 늘어나지만 불행히도 원본 영상에는 [fs/2, N*fs/2] 대역의 spectrum은 존재하지 않는다. 따라서 Decimation 때와는 달리 Aliasing 현상은 발생하지 않으나 원본 영상과 동일한 주파수 대역을 N배 줌된 해상도에서 관찰함으로 blur한 느낌이 강하게 나타난다.

또한 사용되는 Interpolation Kernel 종류에 따라 원본 영상의 주파수 대역 [0,fs/2] 내 에서도 왜곡이 발생하게 되고 Kernel 형태에 따라 고주파 성분의 열화 정도가 다르게 나타난다. 이는 결과적으로 blur 함 정도의 차이와 더불어 영상의 sharp한 Edge 근처에서 나타나는 ringing artifact 정도에 차이가 나타나게 된다.

따라서 Up-scaling시 첫 번째로 수행해야하는 것은 원 영상 주파수 대역의 보존 능력과 ringing 이 제일 적은 kernel을 이용하여 up scaling 한다. 현재 널리 사용되고 있는 것은 Lanczos Kernel 이다. 이 Kernel 의 단점은 연산속도가 simple한 다른 Kernel 대비 더 소요되는 단점이 있다. 이렇게 interpolation된 영상은 주파수 대역은 여전히 [0,fs/2]이고 [fs/2, N*fs/2] 대역의 존재치 않는 대역에 대해서는 추정 복원을 해야 된다. 먼저 복원은 [0,fs/2]대역의 고주파 성분에 대한 진폭을 강화하는 것으로 영상의 detail/ edge를 강화 하게 된다. 더불어 부자연스러운 사선에서의 Jagging을 post filter를 통해 제거해주면 고해상도 원본에 더 근접하게 된다. 또한 원본의 blur 한 Edge 나 detail 성분을 선형 혹은 비선형필터를 이용하여 sharp 하게 만들어 주면 없어진 [fs/2, N*fs/2] 주파수 대역의 보상이 가능해진다. [fs/2, N*fs/2] 대역중 원본 영상에 그 흔적 조차 없는 image contents는 사실상 복원하기 힘든 요소이다.

Super Resolution:

새로운 해상도 향상 SR-기법은 위에서 언급한 [fs/2, N*fs/2] 대역의 영상 정보를 최대한 많이 얻기 위한 방법으로 single frame 기법과 동영상에서 가능한 multi-frame 기법을 활용한다. 이들 기법들에 대한 연구는 최근들어 활발하게 이뤄지고 있으며, 현재 그 연산량이 방대하여 consumer electronics 분야에서는 더디게 적용되고 있으나 추후 각광 받을 연구 분야임에는 틀림없고 상세한 내용은 아래 PPT를 참고하기 바란다.

열상카메라 화질개선 예

(left: 개선영상 4-upscaler & edge restored) vs. (right: original video, 4 times- upscaled with nearst neighbor pixel-repeatation)