23편 · 녹음으로 관을 찾는 것과 MRI 영상을 만드는 건 어떻게 다를까?

같은 소리 계산기를 쓰더라도 무엇을 바꾸는지에 따라 결과는 달라요. 관을 한 번 맞추는 일, 여러 녹음에서 배우는 일, MRI처럼 보이는 영상을 만드는 일을 따로 봐요.

1. 한 번 맞추기, 미리 배우기, 그림 만들기는 뭐가 다를까?

이 소리 계산기는 녹음 하나에 관을 맞추는 데도 쓰고, 처음 듣는 녹음에서 관을 바로 추정할 규칙을 배우는 데도 써요. 입안을 옆에서 본 MRI처럼 영상으로 보여 줄 수도 있고요. 다만 그 영상은 소리와 어울리게 그린 후보예요. 다음 편에서 원본과 다시 만든 소리를 들어 보면, 같다고 말할 수 있는 게 어디까지인지 감이 와요.

  1. 녹음 하나 맞추기

    그 녹음에만 맞는 관을 찾아요.

  2. 여러 녹음으로 배우기

    다른 녹음이 들어와도 폭을 내놓는 규칙을 배워요.

  3. 옆모습 영상 만들기

    소리와 잘 맞는 그럴듯한 그림을 만들어요.

녹음 하나를 맞출 때: 그 녹음에서 관의 어느 부분이 넓어졌다 좁아지는지 추정해요. 다른 녹음으로 바꾸면 이 작업을 다시 할 수 있어요. 여러 녹음으로 배울 때: 녹음에서 관 넓이를 뽑는 규칙을 먼저 배워요. 학습에 실제 관 넓이 정답을 쓰지 않고, 다시 만든 소리와 원본 녹음을 비교해요. 이걸 자기지도 학습이라고 불러요. 영상을 만들 때: MRI 영상의 모양을 이미 배운 생성 모델이 후보 화면을 내요. 화면에서 관 넓이를 뽑고 소리를 계산해, 더 닮은 소리가 나도록 생성 모델에 넣는 숫자를 움직여요. 논문은 3초 영상을 맞출 때 그 숫자 묶음 30개를 썼어요. 이 과정은 녹음만으로 몸을 촬영하는 기술이 아니에요. 논문 §6과 부록 C.5–6

더 깊이 읽기

녹음된 음성에서 성도 모양을 복원하는 방식은 연구 목적에 따라 세 가지 갈래로 나뉜다. 첫째는 오디오 클립마다 신경 필드를 바닥부터 직접 최적화하는 방식이고, 둘째는 대규모 음성을 미리 학습해 즉각 단면적을 추론하는 인코더 방식이며, 셋째는 2차원 자기공명영상(MRI) 형태로 시각화하는 생성 모델 방식이다.

논문의 사전 학습 인코더는 수많은 음성 데이터를 물리 시뮬레이터로 복원하면서 자기지도 방식으로 가중치를 익힌다. 정답 단면적 라벨이 없어도 소리 입력 즉시 단면적을 내놓도록 학습된다. 반면 공개 CLI에 포함된 작은 CNN은 여러 음성을 거치지 않고 개별 클립 전용으로 작동한다.

MRI 방식은 실제 촬영 장비로 측정한 것이 아니라, 이미 만들어진 StyleGAN2 생성기 모델을 소리에 연결해 혀와 성도의 단면 영상을 흉내 낸 것이다. 음성 신호에 맞춰 3초 길이에 걸쳐 512차원 잠재 벡터 30개를 최적화하고, 원호와 선으로 구성된 안내선 합으로 관 단면적을 맞춘다. 이는 실제 영화 촬영본이라기보다는 소리에 맞춰 3D 애니메이션 캐릭터를 움직이는 것에 가깝다. 특히 영상 생성기 자체는 MRI 사진으로 학습되었지만, 이 방법은 소리와 MRI 영상이 짝지어진 자료를 학습에 쓰지 않는다.

클립별 신경 필드

단일 음성 파일에 대해 신경망 파라미터를 반복 계산하여 32개 단면적의 시계열을 직접 맞춥니다.

자기지도 인코더

대규모 음성과 시뮬레이터를 활용해 정답 라벨 없이도 단면적을 한 번에 뽑아내도록 사전 학습합니다.

생성형 MRI 영상

고정된 생성 모델에 512차원 잠재 벡터를 음향 손실로 맞춰 가상 성도 단면 영상을 합성합니다.

참고 문헌

이어서 읽기

먼저 관을 직접 움직여 보고, 원본과 다시 만든 소리를 번갈아 들어 보세요. 말을 잘 알아듣는다는 것과 입안 모양을 맞혔다는 것은 따로 확인해야 해요.