Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising
개요
DnCNN 은 CNN을 이용하여 이미지에서 denoising을 구현한다. 논문에서는 노이즈의 예시로 Additive White Gaussian Noise(AWGN)을 제거하고자 하였다. 기존의 방식들은 계산 시간이 너무 오래 걸리고, 파라미터 설정에 있어서 복잡한 인간의 개입이 필요한 문제가 있었다. 이 논문에서는 이미지를 직접 denoising하는 것이 아니라 이미지에서 noise를 분리해내는 것에 초점을 맞추었다. 또한 residual learning과 batch normalization을 사용하여 denoising performance를 높였다. 그리고 CNN을 사용하였기 때문에 denoising의 적용에 있어서 유연성을 확보할 수 있었다.
구조
DnCNN은 기본적으로 CNN을 사용하였다. 우선 Ground thruth이미지 Y를 구한다. 여기에 AWGN노이즈를 더하여 Noised Image X를 만든다. 이미지 X에 여러 레이어의 CNN네트워크를 이용하여 이미지를 만들고 원래 이미지에서 결과 이미지를 감산 연산하여 De-Noised Image Y'을 만든다. 최종적으로 Y와 Y'의 MSE에러를 계산하여 CNN네트워크의 Optimization에 반영한다.
또한 Padding에 있어서 단순히 zero padding하는 것으로 기존의 CSF나 TNRD의 가장자리 Artifact문제를 해결하였다.
학습
우선 이미지를 준비한다. 본 논문에서는 흑백 이미지를 대상으로 함으로 이미지를 우선 흑백으로 만드는 과정이 필요하였다. 그런다음 Additve White Gaussian Noise를 더하여 노이즈 이미지를 만든다. 이후 잡음이 더해진 이미지에 normalization을 통해서 이미지의 color값을 0과 1사이로 normalization한다. 학습을 위해서 많은 양의 데이터가 이용될 수 있지만, 논문에 서술되어 있기를 적당한 지점부터는 noise의 MSE가 줄어들지 않음으로, 적당한 데이터의 양이 필요해 보인다.
결론
결과적으로 노이즈의 크기가 커질수록 DNCNN이 BM3D보다 좋아졌으며, BM3D와는 다르게, DnCNN은 원래의 이미지의 high frequency 부분 (가장자리나 엣지와 같은 특징점)을 보존하려는 경향을 보이고 있었다.
DnCNN을 이용하면, 기존의 방식과는 다르게 다양한 종류의 Noise에 적용할 수 있으며, denoising뿐만 아니라 super resolution같은 분야에도 적용할 수 있어서 유연성면에서 기존의 방식과 차별화를 둘 수 있다. 또한 DnCNN은 BM3D의 blur문제를 많이 감소시켰지만 아직도 Blur문제는 적게나마 남아 있어서 추후 연구에 있어서 이러한 문제를 해결하는 과정이 필요해 보인다. 또한 BM3D와 같이 non local mean과 같은 방식이 사용되지 않았는데, DnCNN에 이러한 방식을 적용한다면 좀더 성능을 높일 수 있어 보였다.