21편 · 녹음과 비슷하다는 걸 어떻게 점수로 잴까?

사람은 둘을 번갈아 듣고 비슷한지 판단하지만, 계산기는 두 녹음에 점수를 매겨야 해요. 짧은 소리와 긴 소리를 놓치지 않도록 크기가 다른 창 세 개로 비교해요.

1. 두 소리가 비슷하다는 걸 숫자로 어떻게 잴까?

파형을 한 점씩 맞대는 대신, 두 소리 모두 스펙트로그램으로 바꿔 비교해요. 짧은 창으로 보면 ‘ㅅ’이 갑자기 시작하는 때가 잘 드러나고, 긴 창으로 보면 높이가 비슷한 주파수들을 나눠 보기 쉬워요. 논문은 창 길이 세 가지를 쓰고, 두 그림의 차이를 벌점으로 삼아요.

짧은 창

  • 짧게 터진 소리의 때를 봐요.

긴 창

  • 가까운 주파수 차이를 더 잘 나눠 봐요.

먼저 소리를 그림으로 바꾸기. y는 원본, ŷ는 다시 만든 소리예요. r은 창 설정, j는 나누기 전 주파수 칸, m은 가까운 주파수 칸을 귀의 감각에 가깝게 묶은 대역(멜 대역), k는 시간 칸이에요. STFT는 녹음을 짧게 나눠 주파수를 재고, Mᵣ[m,j]가 각 주파수를 어느 대역에 얼마나 넣을지 정해요. 그 결과에 로그를 씌워 큰 값만 차이를 좌우하지 않게 해요.

식 (56): 차이의 길이를 세 번 재기. ‖·‖₂는 각 칸의 차이를 제곱해 더하고 제곱근을 씌운 값이에요. 예를 들어 한 그림에서 두 칸의 차이가 3과 4면 그 거리는 5예요. 창 세 개에서 얻은 거리가 5, 2, 2라면 평균 점수는 3이에요. 논문의 식은 이 거리의 평균이고, 공개 CLI의 기본 코드 경로는 절댓값을 평균하는 L1을 써요. 같은 수치라고 보면 안 돼요.

더 깊이 읽기

두 소리가 얼마나 닮았는지 잴 때 소리 파형의 미세한 위상 차이를 직접 비교하면 오차가 지나치게 예민해진다. 따라서 식 (56)에서는 단시간 푸리에 변환(STFT)을 거친 뒤 위상을 버리고 진폭 크기만 취한다. 여기에 128개의 멜 필터를 통과시켜 사람 귀가 민감한 저주파는 촘촘하게, 둔감한 고주파는 널찍하게 묶은 다음 로그를 씌운다.

논문 본문의 설명과 달리 인쇄된 식 (56)은 오차를 제곱하지 않은 순수한 L2 노름들의 평균을 구한다. 이때 샘플 수 기준으로 (512, 160, 40), (1024, 400, 80), (2048, 800, 160)의 세 가지 창 크기를 동시에 사용한다. 작은 창은 입술이 터지는 짧은 순간의 타이밍을 잡고, 큰 창은 길게 이어지는 모음의 굵직한 공명 주파수 봉우리를 정밀하게 짚어 내기 위함이다.

공개된 JAX CLI 코드는 논문 수식과 미세하게 다른 방식을 취한다. 작은 엡실론 값을 더한 밑 10의 로그 진폭에 대해 평균 절댓값 차이(L1)를 계산한다. 또한 16 kHz와 32 kHz처럼 샘플링 속도 설정에 따라 같은 샘플 크기라도 실제 소리의 밀리초 시간 길이는 두 배씩 차이가 난다.

참고 문헌

이어서 읽기

점수가 나쁘다는 것만으론 어느 곳을 넓힐지 알 수 없어요. 점수가 관의 작은 변화에 어떻게 반응하는지 보고, 시간과 위치에 따라 관을 같이 고쳐요.