잡음제거

2022 04 21 스터디 결과

• AutoEncoder 동작방식 공부 => 공부 결과를 HWP 파일에 정리함(very good!)

• 잡음섞인 오디오 파일에서 잡음 제거 성공(잡음제거건: (1)stride512전.wav => 잡음제거 후: (1)stride512후.wav )

  • 잡음 제거된 오디오를 들어보면, 약간 웅웅대는 음질로 바뀌었음... 왜?

<추가 질문>

<질문1> 오토인코더 학습할때, Loss를 AB-Y로 했나요 아니면 A-Y로 했나요? (A: 원음, AB: A+노이즈, Y: 학습 중 오토인코더 출력). 우리 목표는 AB-Y를 Loss로 해서 학습하는게 맞고, 이렇게 해도 잡음이 제거된 음원을 얻을 수 있는걸로 알고 있어요.

<질문2> stride512는 잡음 제거가 잘 된 것 같은데, stride32는 잘 안된것 같아요. 이유는 뭘까요?

<질문3> 잡음 제거 이후의 (1)stride512후.wav 파일은, 들어보면 알겠지만, 원래 음원에 비해서 소리가 웅웅 거린달까? 뭔가 차이가 있어요. 아마 어떤 느낌인지 알거예요. 잡음을 제거하는 중에 원래의 음원이 영향을 받은걸로 보여요. 이러한 차이를 시각화 해서 볼 수 있을까요? "audio signal display" 라는 키워드로 구글에서 검색해서 "이미지" 검색 결과를 보면, 음원을 시각화 하는 다양한 방법이 있어요. 이런 기술을 이용해서, A 음원이랑 Y 음원을 시각화 해서 비교해 보면 좋겠어요. 혹시, 시각화 해서 비교하고, 무언가 차이가 나는 부분을 찾아낼 수 있다면, Y 음원이 A음원과 더 가까워지게 만들 수 있을 것 같아요.

<질문 4> AB(=원음+노이즈)에서 Y(=학습된 오토인코더 출력)를 빼면, 잡음만 남겠죠? 이때, 잡음의 모양을 그래프로 그려봤으면 해요.

1) AB-Y 라는 연산을 코딩으로 구현할 수 있을까요?

2) 만약 구현이 가능하다면, AB-Y 결과인 noise만 시각화 해서 그래프로 그려볼 수 있을까요? 노이즈가 어떻게 생겼는지 보고싶네요 ^^.

<질문 5> AB 음원과 Y 음원이 얼마나 비슷한지를 측정할 수 있는 기법이 있는지 궁금해요. 뭐, 예를 들어 95% 비슷하다... 이런식으로 수치화 해서 비교할 수 있는 기법이 있는지 찾아봐줘요.

<질문 6> 지금까지 사용한 코드도 보내줘요. 저도 공부해 볼게요 ㅎㅎ