11편 · 어느 쪽으로 값을 바꾸면 오차가 줄어들까?
안개 속 언덕을 내려가려면 우선 발밑 경사를 봐요. 오차를 줄이는 계산도 지금 자리에서 어느 쪽으로 얼마나 움직일지부터 정해요.
1. 어느 쪽으로 한 발 가야 점수가 낮아질까?
안개 낀 언덕을 내려갈 땐 발밑이 어느 쪽으로 기우는지부터 살펴요. 점수도 마찬가지예요. 손잡이를 조금 돌렸을 때 점수가 어느 쪽으로 얼마나 빠르게 바뀌는지 보는 값이 기울기예요. 기울기를 보고 한 걸음 옮긴 뒤 점수를 다시 재요. 그러다 멈춘 곳이 지도 전체에서 가장 낮은 곳이라는 보장은 없어요.
- 방향 찾기
값을 늘릴지 줄일지 정해요.
- 조금 움직이기
얼마나 옮길지 정하고 값을 바꿔요.
- 다시 재기
새 점수가 얼마나 낮아졌는지 봐요.
L′은 a를 지금 위치에서 아주 조금 올렸을 때 L이 어느 쪽으로 변하는지 보는 값이에요. 바깥의 제곱을 미분하면 첫 번째 2가 나오고, 안쪽의 2a도 a가 1 늘 때 2 늘기 때문에 끝에 ×2가 붙어요. a=2에서는 L′=−8, 점수를 줄이려면 −8을 0.1배 해서 빼요. 그러면 a가 2.8로 올라가고, 다음에도 같은 계산을 하면 2.96이에요. 목표 6에 딱 맞는 a=3이 눈앞에 가까워지는 거죠.
더 깊이 읽기
안개 낀 산에서 눈을 가린 채 발바닥에 느껴지는 경사만으로 골짜기를 찾아 내려가는 상황을 떠올린다. 산 전체의 지형도가 없어도 지금 서 있는 자리에서 땅이 아래로 기울어진 방향으로 한 발짝 내딛으면 고도를 낮출 수 있다. 수학에서는 손실 함수의 기울기를 구해 그 반대 방향으로 변수를 이동시킨다.
앞선 예시에서 손실 함수는 L = (2a - 6)^2이다. 겉의 제곱식을 미분하면 2(2a - 6)이 되고, 안쪽의 2a를 미분하면 2가 나오므로 둘을 곱한 최종 기울기는 8a - 24가 된다. 현재 a = 2라면 기울기는 8(2) - 24 = -8이다. 기울기가 음수라는 것은 a를 늘려야 손실이 줄어든다는 의미다. 보폭 비율인 학습률을 0.1로 두고 갱신하면 새로운 a는 2 - (0.1 * -8) = 2.8이 된다. 이때 손실은 (5.6 - 6)^2 = 0.16으로 크게 떨어진다.
다음 단계에서 a = 2.8일 때의 기울기를 계산하면 8(2.8) - 24 = -1.6이 된다. 같은 보폭 0.1을 적용하면 다음 위치는 2.8 - (0.1 * -1.6) = 2.96이 되며, 손실은 (5.92 - 6)^2 = 0.0064로 줄어든다. 그러나 보폭을 1.0으로 너무 크게 잡으면 a = 2 - (1.0 * -8) = 10이 되어 손실이 (20 - 6)^2 = 196으로 폭증하면서 골짜기 너머 반대편 언덕으로 튕겨 나간다.
직접 풀어 보기
물리적 손잡이 값은 음수가 될 수 없는 경우가 많다. 이럴 때는 변수에 지수 함수를 씌워 양수만 나오도록 재매개변수화하거나, 갱신된 값이 0보다 작아지면 0으로 잘라내는 투영 방식을 쓴다. 한편 컴퓨터 코드에서 기울기를 구할 때 쓰는 자동미분(Automatic Differentiation)은 수치를 0.0001만큼 살짝 흔들어 보고 결과를 짐작하는 방식이 아니다. 프로그램이 실행한 모든 덧셈과 곱셈 연산 단계를 기록해 두었다가, 미적분의 연쇄법칙을 기계적 정밀도로 엄밀하게 거꾸로 적용해 정확한 기울기를 얻어낸다. 단, 프로그램 내부에 if 조건문으로 인한 급격한 값의 꺾임이나 불연속적인 선택이 들어 있다면 미분값이 정의되지 않으므로 주의해야 한다.
2. 두 답이 똑같이 맞으면 하나를 골라도 될까?
온도 예로 돌아가서, 두 방은 비슷할 거라고 가정하면 25도씩을 고를 수 있어요. 그렇다고 그 답이 맞았다는 새 증거가 생긴 건 아니죠. 확인하려면 방마다 온도계를 놓아야 해요. 소리에서 관 모양을 찾는 논문도 그래요. 비슷한 소리를 내는 모양을 고르는 일과 실제 입안 모양을 알아내는 일은 달라요.
가정으로 고르기
- 둘이 비슷하다고 정해요.
직접 확인하기
- 쓰지 않았던 온도계로 방마다 재요.
더 깊이 읽기
서로 다른 입력값들이 똑같은 출력을 만들어 낼 때, 측정값만으로는 유일한 답을 가려낼 수 없다. 이때 인접한 값들이 부드럽게 이어져야 한다거나 일반적인 물리 범위 안에 있어야 한다는 사전 지식을 제약 조건으로 추가한다. 이는 센서가 직접 측정한 사실이 아니라, 모호한 상황에서 동점을 깨기 위해 사람이 부여하는 합리적인 판단 기준이다.
개별 측정 샘플 하나를 두고 내부 변수를 맞추는 최적화와, 수많은 데이터 쌍을 미리 학습해 범용 규칙을 익히는 인공지능 모델의 가중치 학습은 구별해야 한다. 예를 들어 단 한 번 녹음된 소리 조각에 맞춰 작고 단순한 계산 함수의 파라미터를 그때그때 조율하는 작업은, 여러 데이터로 학습해 새 입력에 같은 규칙을 적용하는 것과 다르다.
추정 결과에 대해 갖출 수 있는 신뢰는 세 단계로 나뉜다. 첫째는 얻어낸 설정값이 실제 측정 신호를 얼마나 정밀하게 재현하는가이다. 둘째는 그 결과가 물리 법칙과 상식적인 범위에 비추어 타당한 형태인가이다. 셋째는 최적화 과정에 쓰이지 않은 완전히 독립적인 다른 센서의 관측값과도 모순 없이 맞아떨어지는가이다.
직접 풀어 보기
연습 문제와 해답:
- 손잡이 갱신 연습: 현재 a = 3.5이고 목표값이 6인 시스템 y = 2a가 있다. 손실 함수가 (2a - 6)^2일 때 기울기를 구하고, 보폭 0.1을 적용한 다음 a의 위치와 손실을 계산하라.
- 정답: 예측값은 7이며 잔차는 +1이다. 기울기는 8(3.5) - 24 = +4가 된다. 다음 a는 3.5 - (0.1 * 4) = 3.1이다. 손실은 (6.2 - 6)^2 = 0.04로 줄어든다.
- 두 설정값 동점 해결: 두 온도의 합이 50인 시스템 x1 + x2 = 50에서 두 온도가 최대한 비슷해야 한다는 사전 조건(즉 (x1 - x2)^2을 최소화)을 추가하면 해는 무엇인가?
- 정답: 두 방의 온도가 정확히 같아야 하므로 x1 = 25, x2 = 25라는 유일한 해가 결정된다.
참고 문헌
이어서 읽기
계산식 하나와 조절할 숫자 하나에서 출발해요. 그 숫자를 하나씩 고치는 것과, 여러 녹음을 받아 답을 내놓는 규칙을 만드는 것이 어떻게 다른지 봐요.