06편 · ‘아’가 ‘이’로 바뀐 순간은 어떻게 찾을까?
곡 한 곡에 무슨 음이 있었는지 아는 것과, 각각 언제 나왔는지 아는 건 달라요. 녹음을 짧게 나눠 보면 언제 어떤 주파수가 강했는지 알 수 있어요.
1. ‘아’가 ‘이’로 바뀐 순간은 어떻게 찾을까?
‘아—이—’를 한 번에 보지 않고 작은 창으로 잘라 봐요. 처음 창에는 주로 ‘아’가 들어 있고, 창을 옆으로 옮기면 ‘이’가 들어오죠. 각 창에서 주파수를 구한 뒤 시간 순서대로 붙이면, 어느 때 어떤 주파수가 강했는지 그림으로 볼 수 있어요. 이 그림이 스펙트로그램이에요. 짧은 창은 바뀌는 순간을 잘 잡지만, 높이가 비슷한 두 성분을 잘 가르려면 조금 더 긴 창이 필요해요.
짧게 보면
- 바뀐 시점을 찾기 쉬워요.
길게 보면
- 서로 가까운 주파수를 가르기 쉬워요.
그림의 색은 무엇을 뜻할까? a는 지금 보는 소리 성분의 크기, aᵣₑ𝒻는 비교 기준이에요. 크기가 기준의 10분의 1이면 10을 몇 제곱해야 0.1이 되는지 물어요. 답이 −1이라 20을 곱하면 −20 dB예요. 같은 크기는 0 dB, 100분의 1이면 −40 dB예요. 여기서 dB는 진폭의 비율이며, 화면의 밝기가 커졌다고 소리의 높이가 올라간 건 아니에요.
스펙트로그램의 색만 보지 말고 가로와 세로부터 읽어 보세요. 가로는 시간, 세로는 주파수, 색은 그 시간·주파수 칸의 크기예요. 가로로 이어지는 밝은 선은 비슷한 높이의 성분이 한동안 계속됐다는 뜻이에요.
더 깊이 읽기
녹음 전체에 하나의 거대한 FFT를 적용하면 신호에 어떤 주파수들이 들어 있는지는 알 수 있지만, 화자가 언제 '아'에서 '이'로 모음을 바꿨는지는 알 수 없다. 단시간 푸리에 변환(STFT)은 움직이는 슬릿을 통해 시간 파형의 일부분만 들여다보듯, 신호를 짧은 구간으로 나누어 주파수를 계산한다. 사각 창으로 신호를 거칠게 자르면 경계면에서 급격한 불연속이 생겨 엉뚱한 주파수로 에너지가 번지는 스펙트럼 누설이 발생한다. 이를 줄이려면 창 양 끝의 값에 작은 가중치를 준다. Hann 창은 양 끝에서 0까지 내려가지만, Hamming 창은 끝이 0이 아니어도 경계를 부드럽게 한다.
창의 길이가 주파수 해상도와 시간 해상도의 교환 관계를 결정한다. 가까운 주파수를 구분하려면 파동이 충분히 여러 주기를 돌아야 한다. 관측 구간이 길어질수록 주파수를 정밀하게 구별할 수 있지만 시간 분해능은 떨어지고, 구간을 좁히면 시간 위치는 정확해지지만 주파수 분해능이 거칠어진다. 25 ms 창의 주파수 분해 단위는 대략 구간의 역수인 40 Hz(1/0.025) 수준이며, 50 ms로 늘리면 약 20 Hz 수준으로 좁혀진다. 신호 뒤에 0을 덧붙이는 제로 패딩을 적용하면 주파수 축의 눈금이 촘촘해지지만, 이는 기존 스펙트럼을 매끄럽게 보간할 뿐 25 ms라는 관측 시간 자체의 물리적 분해 한계를 극복해주지는 못한다. 16 kHz 신호에서 25 ms는 400개 표본이다. 6.25 ms, 즉 100개 표본만큼씩 움직이며 분석하면 이웃한 창이 75% 겹친다. 이 길이는 계산 예시이며 창마다 꼭 이렇게 고르는 것은 아니다.
주파수 성분의 진폭은 데시벨(dB) 스케일로 압축해 표현한다. 기준 진폭 A_ref에 대해 진폭 비는 20 log10(A / A_ref)로 계산되며, 진폭이 2배가 되면 약 +6.02 dB 늘어난다. 기준 진폭의 10%인 0.1 크기의 신호는 -20 dB로 표현된다. 컴퓨터 연산에서는 진폭이 0이 될 때 로그가 음의 무한대로 발산하는 것을 막기 위해 미소 상수 ε(예: 1e-8)을 더한 뒤 로그를 취한다. 또한 사람의 청각은 고주파로 갈수록 음높이 차이를 둔감하게 느끼므로, 주파수 축을 청각 특성에 맞춰 비선형적으로 묶은 멜(Mel) 필터뱅크를 적용해 고차원 스펙트럼을 압축한다. 로그 변환은 거대한 동적 범위를 시각화하고 압축하는 수치적 도구이며, 그 자체로 인간 청각의 완전한 인지 모델을 의미하지는 않는다.
한 번 더 계산해 보기
동일한 주파수 성분이라도 분석 창의 길이에 따라 관측되는 모습이 달라진다. 125 Hz 배음 구조를 세밀하게 분리해 보려면 40~50 ms 이상의 긴 창(협대역 스펙트로그램)이 필요하고, 성도의 포먼트 포락선 변화를 시간적으로 기민하게 포착하려면 5~10 ms 수준의 짧은 창(광대역 스펙트로그램)을 선택해야 한다.
2. 마이크 한 대로 관 안에서 일어나는 일도 알 수 있을까?
녹음은 마이크 한 대의 자리에서 소리가 시간에 따라 바뀌는 모습을 보여 줘요. 관 안을 계산하려면 같은 순간에 관의 이쪽과 저쪽이 어떻게 다른지도 따져야 해요. 양쪽에서 공기를 미는 힘이 다르면 공기가 움직이거든요. 다음 편에서는 마이크 대신 공기 자체가 어떻게 움직이는지 살펴봐요.
시간이 달라짐
- 압력계는 하나예요.
자리가 달라짐
- 사진을 찍은 순간은 하나예요.
더 깊이 읽기
소리가 공간을 이동하며 만들어내는 압력과 유량의 변화는 편미분 기호로 기술된다. 시간 편미분 ∂t p는 관 안의 공간 위치 x를 한곳에 고정해 두고 시간의 흐름에 따라 압력이 변하는 속도를 측정한다. 이는 특정 지점에 설치된 압력계의 눈금이 시간에 따라 오르내리는 속도와 같다. 반대로 공간 편미분 ∂x p는 특정 시간 t를 사진 찍듯 고정해 두고 관의 위치를 따라가며 압력이 어떻게 달라지는지 기울기를 측정한다. 미분이 순간 속도계를 보듯 변화의 기울기를 읽는 작업이라면, 적분은 아주 작은 변화량들을 이동 경로를 따라 누적하여 전체 주행거리를 구하는 작업이다. 압력의 기울기 벡터인 ∇p는 압력이 가장 가파르게 높아지는 방향을 가리키며, 공기 입자는 이와 반대로 고압에서 저압으로 밀려나며 가속된다.
발산(divergence) ∇·v는 단위 부피당 유체의 순유출량을 나타낸다. 방의 문을 통해 들어오는 사람 수보다 나가는 사람 수가 많으면 발산이 양수가 되는 것과 같다. 성도 관 내부의 한 미소 구간으로 들어온 공기 부피보다 빠져나간 공기 부피가 많으면 그 공간 내부의 공기 밀도가 낮아지고 압력이 떨어진다. 이처럼 질량 보존과 운동량 보존 법칙은 한 단면의 압력 기울기가 공기 입자의 속도를 바꾸고, 속도의 공간적 차이가 다시 압력의 시간적 변화를 유도하는 연립 미분방정식으로 연결된다.
한 번 더 계산해 보기
100 Hz에서 200 Hz로 올라가면 한 번 떠는 데 걸리는 시간은 10 ms에서 5 ms로 줄어든다. 입 모양이 크게 바뀌지 않으면 공명 대역도 크게 움직이지 않는다. 같은 음으로 ‘이’와 ‘우’를 내면 반대로 기본주파수는 비슷하고 공명 대역이 달라진다.
참고 문헌
이어서 읽기
자전거 펌프의 끝을 막고 손잡이를 누르면, 밖으로 공기가 안 나가도 손에 힘이 느껴져요. 이 두 값을 구분해야 관 안의 소리를 계산할 수 있어요.