4장 32개의 관과 드러난 가능성
실제 연구인 diffTLM 소리 엔진은 목소리를 아주 짧게 쪼갠 뒤 32개의 짧은 관으로 계산해요.
소리가 벽에서 소리의 힘이 조금씩 줄어드는 현상과 입술 밖으로 퍼지는 효과는 물론, 성대뿐 아니라 혀와 윗니 사이처럼 좁아진 곳에서 나는 마찰음까지 계산해요. 연구자들은 컴퓨터가 다시 빚어낸 소리를 녹음과 견주고, 진짜 사람의 MRI에서 배운 입 모양 규칙 안에서 가장 그럴듯한 후보를 골라내요.
이 연구는 보이지 않는 입 모양의 다양한 가능성을 눈으로 그려 보고 비교하는 도구이지, 의사의 진단이나 실제 사람의 혀를 찍은 사진이 아니에요.
녹음 신호에서 기본주파수와 소리 크기(RMS)를 먼저 구해요. 두 값을 LF라는 성대 모형에 넣어, 성대에서 나왔을 법한 소리를 만들어요.
움직이는 입 모양을 한꺼번에 계산하는 대신, 녹음을 약 25밀리초씩 짧게 잘라요. 한 조각을 계산하는 동안은 입 모양이 거의 그대로라고 보는 거예요. GPU는 이 조각에서 여러 주파수를 동시에 계산한 뒤 한 조각의 소리로 합쳐요. 마지막에는 이웃 조각의 겹치는 부분을 더해 다시 이어 붙여요.
‘ㅅ’을 낼 때는 혀 가까이의 좁은 틈에서 바람 소리가 나요. 이런 소리는 성대에서 올라온 신호만으로 설명하기 어려워요. 논문은 공기의 소용돌이를 전부 계산하는 대신, 관이 좁은 곳에 바람을 닮은 잡음을 넣어요. 그 소리가 입술 쪽까지 오는 동안 어떻게 바뀌는지 계산하고, 여러 위치에서 온 소리를 더해요.
파형을 한 점씩 맞대는 대신, 두 소리 모두 스펙트로그램으로 바꿔 비교해요. 짧은 창으로 보면 ‘ㅅ’이 갑자기 시작하는 때가 잘 드러나고, 긴 창으로 보면 높이가 비슷한 주파수들을 나눠 보기 쉬워요. 논문은 창 길이 세 가지를 쓰고, 두 그림의 차이를 벌점으로 삼아요.
MRI 영상의 모양을 이미 배운 생성 모델이 후보 화면을 내요. 화면에서 관 넓이를 뽑고 소리를 계산해, 더 닮은 소리가 나도록 생성 모델에 넣는 숫자를 움직여요.
녹음 하나로 그 소리를 낼 수 있는 모양들을 알 수 있을 뿐, 그 순간 혀가 정확히 어디 있었는지까지 알 수는 없어요.