22편 · 점수를 보고 관 모양을 어떻게 고칠까?
점수가 나쁘다는 것만으론 어느 곳을 넓힐지 알 수 없어요. 점수가 관의 작은 변화에 어떻게 반응하는지 보고, 시간과 위치에 따라 관을 같이 고쳐요.
1. 관의 어느 쪽을 넓혀야 벌점이 줄까?
벌점이 컸다는 사실만으로는 어느 관을 고쳐야 할지 알 수 없죠. 그래서 계산 순서를 거슬러 올라가요. 관의 폭을 아주 조금 바꾸면 만들어지는 소리가 어떻게 달라지고, 그 때문에 벌점이 어느 쪽으로 움직이는지 따져요. 이 기울기를 읽고 한 걸음 고친 뒤 다시 소리를 만들어요. 지금보다 나은 방향을 알려 주지만, 세상에서 가장 잘 맞는 관을 당장 찍어 주는 건 아니에요.
벌점에서 출발
- 오차를 만든 소리부터 봐요.
관으로 돌아가기
- 그 소리에 어떤 구간이 영향을 줬는지 따라가요.
어느 쪽을 얼마나 고칠까? 예제에서 바꿀 값 a가 2면 결과 2a=4가 목표 6보다 작고, 벌점은 4예요. L′은 a를 올렸을 때 벌점이 바뀌는 속도예요. 여기서는 −8이라 0.1×(−8)을 빼면 a는 2.8로 올라가고 벌점은 0.16이 돼요. 논문은 이런 계산을 관 모양으로 이어지는 수많은 값에 적용해요. 현재 자리에서 점수를 줄이는 방향을 찾는 거지, 이 방식이 정확한 몸속 모양을 보장하진 않아요.
더 깊이 읽기
미분을 통해 정답을 찾아가는 과정을 아주 단순한 수식으로 확인해 보자. 매개변수가 a이고 예측값이 q = 2a이며 목표값이 6이라고 하자. 손실 함수를 오차의 제곱인 L = (2a - 6)²으로 둔다. 현재 a = 2라면 예측값은 4가 되어 오차는 -2이고 손실은 4이다. 겉미분과 속미분을 거치면 a에 대한 기울기는 2 × (2a - 6) × 2 = -8이 된다. 학습률을 0.1로 두고 기울기 반대 방향으로 한 걸음 움직이면, 새로운 a는 2 - (0.1 × -8) = 2.8이 된다. 이제 예측값은 5.6으로 목표에 바짝 다가서며 손실은 4에서 0.16으로 뚝 떨어진다. 같은 보폭으로 한 번 더 이동하면 a는 2.96이 되고 손실은 0.0064로 줄어든다.
실제 모델에서는 이 연쇄 법칙이 훨씬 길게 이어진다. 스펙트로그램 오차에서 출발해 합성 오디오 파형, 물리 시뮬레이터 연산, 성도 단면적, 그리고 마지막 신경망 가중치 세타까지 수많은 단계를 거꾸로 짚어 올라간다. 자동미분은 현재 계산 그래프의 순간적인 기울기만 알려 주며, Adam 최적화기가 보폭을 알맞게 조절한다.
하지만 1차 미분값은 지금 당장 소리 오차를 줄이는 방향만 가리킬 뿐, 성도의 전체 모양이 사람 몸의 실제 구조와 맞는지까지는 판단하지 못한다. 손실 값이 바닥을 쳤다고 해서 해부학적으로 정확한 모양을 복원했다고 보장할 수는 없다.
2. 관 조각마다 따로 고치면 왜 들쭉날쭉할까?
관 조각마다, 매 순간마다 폭을 제각각 고치면 옆 조각과 모양이 어긋나거나 눈 깜짝할 사이에 폭이 튈 수 있어요. 논문은 어디를 언제 볼지 넣으면 그곳의 폭을 내놓는 하나의 계산 규칙을 공유해요. 한꺼번에 모양을 다루기 쉬워지지만, 그렇게 얻은 관이 몸속의 실제 관과 같다는 증거는 아니에요.
관 조각마다 다른 값
- 옆 단면과 상관없이 값이 바뀔 수 있어요.
함께 쓰는 규칙
- 하나의 규칙으로 각 위치의 폭이 시간에 따라 어떻게 달라지는지 계산해요.
한꺼번에 움직이는 숫자. t는 말한 뒤 지난 시간, x는 관 안에서의 위치, A(t,x)는 거기서 공기가 드나드는 넓이예요. F는 입력으로 시간과 위치를 받아 면적을 내는 규칙, θ는 그 규칙을 움직이는 숫자 묶음(신경망의 가중치)이에요. 그림의 모든 칸을 따로 칠하는 대신, 한 가지 규칙으로 가까운 칸들을 같이 바꾸는 셈이에요. 결과가 매끈해지기 쉬워도, 그 이유만으로 실제 입안과 같다고 단정할 수는 없어요.
더 깊이 읽기
성도의 32개 단면을 독립된 낱개 숫자로 두고 최적화하면 인접한 구간끼리 제각각 튀어 톱니바퀴처럼 거친 모양이 되기 쉽다. 반면 시간과 위치 좌표 (t, x)를 입력받아 단면적을 내놓는 연속 함수 A = F_theta(t, x)를 두고 신경망 매개변수를 공유하면, 모양이 시간에 따라 하나의 유기적인 관처럼 매끄럽게 움직인다. 다만 매개변수를 공유한다고 해서 참인 모양이 유일하게 정해진다거나 항상 부드러운 형태만 보장되는 것은 아니다.
좌표를 신경망에 넘기기 전에 무작위 주파수의 사인과 코사인으로 펼치는 무작위 푸리에 특징(RFF)을 쓰거나, 학습 가능한 정현파 필터들을 곱셈 형태로 엮는 MFN 구조를 활용한다.
공개 CLI 코드는 첫 번째 단면적을 고정한 채 소프트플러스와 바닥값을 더한 뒤 최대치로 잘라내는 방식을 취한다. 이는 논문 부록 C.4에 기술된 소프트맥스 기반 클리핑 방식과 다르게 구현되어 있다.
독립 격자 배열
- 시간과 위치마다 개별 단면적 변수를 두는 방식으로 자유도는 높지만 이웃한 구간이 거칠게 어긋나기 쉽습니다.
신경 필드 함수
- 공유된 신경망 가중치를 통해 좌표를 매핑함으로써 관의 단면적 변화가 덩어리째 자연스럽게 이어지도록 만듭니다.
참고 문헌
이어서 읽기
같은 소리 계산기를 쓰더라도 무엇을 바꾸는지에 따라 결과는 달라요. 관을 한 번 맞추는 일, 여러 녹음에서 배우는 일, MRI처럼 보이는 영상을 만드는 일을 따로 봐요.