24편 · 데모를 돌리고 결과는 어떻게 읽을까?
먼저 관을 직접 움직여 보고, 원본과 다시 만든 소리를 번갈아 들어 보세요. 말을 잘 알아듣는다는 것과 입안 모양을 맞혔다는 것은 따로 확인해야 해요.
1. 브라우저에서 먼저 들어 보기
먼저 관을 바꾸는 데모를 열어요. 성대 쪽 음높이는 그대로 두고 관의 폭을 움직여 보세요. 소리의 어느 부분이 달라지나요? 이번에는 녹음을 맞추는 데모에서 원본과 다시 만든 소리를 번갈아 들어 보세요. 처음에는 어떤 말로 들리는지, 다음에는 목소리까지 비슷한지 따로 들어 보면 차이가 더 잘 들려요.
더 깊이 읽기
Acoustic Tubes 데모에서는 성문 음원의 기본주파수를 고정한 채 슬라이더로 구간별 단면적만 변경하며 공명 피크의 변화를 관찰할 수 있다. 목표 주파수 응답이 주어졌을 때 단면적을 역으로 맞추는 Fit target 기능을 실행하면 손실값이 감소하면서 원통형 관이 특정 모음 형태로 수렴하는 과정을 시각적으로 확인하게 된다.
실음성 최적화 탭인 Real Speech Optimization에서는 기본 예제 오디오가 이미 로드되어 있어 Fit speech recording 버튼을 누르면 즉시 최적화 루프가 시작된다. 사용자가 직접 마이크로 입력할 때는 조용한 환경에서 일정한 음높이로 짧게 '아', '이', '우' 모음을 각각 2회씩 발성하고, 합성 음원의 음질과 시간에 따른 위치별 단면적 히트맵을 비교한다.
데모 인터페이스에는 10초 분량 마이크 입력과 브라우저 로컬 연산 처리가 명시되어 있으나, 외부 감사로 완결성이 검증된 보안 환경은 아니다. 실행 환경에 WebGPU 가속이 없으면 호환 브라우저로 전환하거나 CLI 환경을 사용해야 하며, 브라우저 내부 CPU 토글은 헤드리스 환경의 WebGPU 미지원 문제를 해결하지 못하므로 환경 사전 점검이 필수적이다.
조건과 주의점 더 보기
브라우저 데모는 실시간 피드백을 제공하지만 백엔드 배치 파이프라인과 내부 파라미터 제어 범위가 다르다. 모음 간 음질을 비교할 때는 발성 음높이와 마이크 거리를 고정해야 입력 신호의 변동으로 인한 추정 오차를 줄일 수 있다.
2. 내 컴퓨터에서 돌리면 무슨 파일이 나올까?
내 컴퓨터에서 실행하면 두 소리를 나란히 들어 보는 데서 한발 더 갈 수 있어요. 원본 일부, 추정한 성대 쪽 소리, 관을 거쳐 다시 만든 소리를 따로 받아요. 어느 순간 어느 관 조각이 얼마나 열렸는지는 표에 남아요. 이 표가 직접 찍은 혀 사진을 대신하지는 않아요.
입력
- 녹음 파일 하나.
출력
- 비교해서 들을 소리와 시간별 관 폭 표.
출력 표의 k는 0부터 세는 구간 번호예요. 예제 설정에서는 25 ms 길이로 녹음을 잘라 보므로 첫 구간 한가운데는 12.5 ms예요. 창을 한 칸 옮길 때마다 6.25 ms를 더해, k=1이면 18.75 ms, k=2이면 25 ms가 돼요. 구간 길이·간격·패딩 설정을 바꾸면 같은 식을 그대로 쓰면 안 돼요.
더 깊이 읽기
저장소 루트에서 Python 3.14 이상 환경과 CUDA 13 계열 휠 의존성을 구성한 뒤 최적화 스크립트를 호출한다. CLI 도구는 입력 오디오의 시작점부터 처음 2초 구간을 추출하고, RFF(Random Fourier Features) 신경 필드를 기반으로 200단계 경사 하강을 진행한다.
시뮬레이션은 17.5 cm 고정 길이 성도를 기준으로 31개 전달 행렬과 입술 경계면의 32번째 단면적을 결합하여 복소 전달함수를 계산한다. 공개 코드는 첫 번째 성문 쪽 단면적을 고정하며, k번째 구간의 중심 시각은 본문 식으로 읽는다.
음원 파일 세트
전처리된 32 kHz 모노 목표 음원 target.wav, 추정된 성문 체적 유량 uin.wav, 최적화 모델이 재합성한 fitted.wav가 생성된다.
수치 데이터 배열 (fit.npz)
윈도우 수와 32개 단면적을 담은 2차원 배열(단위 cm²), 단계별 손실값, SwiftF0 기반 F0 및 RMS 궤적이 포함된다.
기하 형상 시각화
시간 경과에 따른 성도 반지름 변화를 렌더링한 정적 단면도 tube_geometry.png와 동영상 tube_geometry.mp4가 저장된다.
실행 구성 메타데이터 (config.json)
학습률, 손실 가중치 계수, RFF 계층 수, 난수 시드를 포함한 재현용 설정 정보가 기록된다.
조건과 주의점 더 보기
명령과 출력 이름은 문서와 코드를 대조했다. 이 조사에서 Python으로 끝까지 실행하지는 않았다. 공개 저장소에는 사전학습 인코더 가중치와 MRI 실험 코드가 아직 올라오지 않았다.
uv sync
uv run python -m difftlm.fit_sample \
--path assets/jude.wav --duration 2.0 --network rff \
--n-steps 200 --output outputs/jude_rff
3. 실험 점수가 높으면 실제 입안도 맞힌 걸까?
그래프의 단어 오류율은 다시 만든 소리를 음성인식기에 들려줬을 때 단어를 얼마나 잘 받아썼는지 보여 줘요. 숫자가 낮을수록 이 시험에서는 단어를 덜 틀렸다는 뜻이에요. 잘 알아들었다고 실제 혀가 그 자리에 있었다는 뜻은 아니죠. 모양을 확인하려면 MRI처럼 소리와 별개로 얻은 자료가 있어야 해요.
소리를 평가
- 다시 만든 말을 얼마나 알아들을 수 있나요?
모양을 평가
- 실제로 따로 잰 모양과 얼마나 비슷한가요?
한국어 단어 오류율 · 낮을수록 덜 틀림
표 1은 합성 속도, 표 2는 단면적을 아는 합성 조건에서의 추정, 표 3은 다시 만든 말을 알아듣는 정도, 표 4는 MRI 영상의 비교예요. 서로 다른 질문에 답한 수치라 한 점수로 바꿔 읽을 수 없어요. 특히 실제 해부 구조를 맞혔다는 주장을 하려면, 맞추는 데 쓰지 않은 독립 측정과 비교해야 해요.
더 깊이 읽기
물리 기반 음성 역최적화 시스템을 평가할 때는 4가지 질문을 엄격히 분리해야 한다. 첫째는 순방향 시뮬레이션의 계산 속도, 둘째는 재합성된 오디오의 청각적 음질, 셋째는 음성인식기를 통한 전사 일치도, 넷째는 실제 화자의 해부학적 성도 기하학과의 일치 여부다.
음성 25개에는 TorchAudio-SQUIM을 써서 알아듣기 쉬운 정도와 음질을 추정했다. 사람이 직접 채점한 결과나 실제 해부학 측정값은 아니다. 실제 단면적을 비교한 표 2는 Fant의 X선 자료에서 얻은 모음 기준을 썼다. /u/는 다른 모음보다 맞추기 어려웠다. RFF와 MFN의 순위는 단면적 오차를 볼 때와 소리 점수를 볼 때 다르다.
표 3에서는 Whisper가 언어마다 테스트 발화 200개를 받아 글로 옮겼다. WER은 빠지거나 잘못 적히거나 끼어든 단어를 센다. 한국어 인코더는 KSS로 추가 학습했으므로 모든 화자에게 같은 오차율이 나온다는 뜻은 아니다. 표 4는 3초짜리 클립 40개에서 만든 옆면 MRI 영상과 참조 영상을 비교했다. 영상 점수는 개인의 혀 좌표를 직접 재는 검사가 아니다.
조건과 주의점 더 보기
평가 지표 간의 괴리는 음향 역문제의 대표적인 특징이다. 재합성 손실이 0에 가깝더라도 성도 내부의 서로 다른 협착 위치가 동일한 음향 공명 주파수를 만들어낼 수 있으므로 단일 손실값만으로 모델 신뢰도를 판단해서는 안 된다.
참고 문헌
이어서 읽기
모음이 만들어지는 과정을 보여 주는 수업과, 녹음만 듣고 혀의 실제 위치를 재는 일은 요구하는 증거가 달라요. 어떤 결과를 내보낼지부터 정해요.