챗GPT가 학습하는 단 하나의 방법
안개가 짙어 한 치 앞도 안 보이는 산. 발밑의 기울기만 느낄 수 있다면, 어떻게 내려갈까?
발밑 기울기를 나침반 삼아 오차의 산을 내려가는 경사하강법
Experiment
직접 만져보기
예측 먼저 — 발밑 기울기의 반대 방향으로만 계속 걸으면, 항상 산의 가장 낮은 곳에 도착할까요?
오차의 산 — 한 걸음씩 내려가보세요 (η=0.3)
위치 x
5.50
오차 f(x)
7.25
발밑 기울기
5.00
더 읽기 — 왜 필요한가 · 인사이트 · 흔한 오해 · 수식 정리펼치기 ▾
Why
왜 필요한가
AI의 '학습'이란 무엇일까요? 모델의 손잡이(파라미터)를 돌려 오차를 줄이는 일입니다. 그런데 손잡이가 수십억 개라면, 어떤 방향으로 돌려야 할까요?
모든 방향을 시도해보는 것은 불가능합니다. 하지만 미분은 '지금 위치에서 오차가 가장 가파르게 줄어드는 방향'을 즉시 알려줘요. 안개 속에서도 발밑 경사는 느낄 수 있는 것처럼요.
그 방향으로 조금 이동하고, 다시 미분하고, 또 이동합니다. 이 단순한 반복이 경사하강법이고, ChatGPT부터 추천 알고리즘까지 현대 AI 전체가 이 위에서 학습해요.
Insight
영상에서 말한 인사이트
“AI는 정답을 '아는' 게 아니라 오차를 '줄이는' 것이다.”
학습의 목표는 진리가 아니라 오차 함수의 최소화입니다. 이 관점 전환이 기계학습 전체를 이해하는 열쇠예요. 산의 모양(오차 함수)을 정의하는 순간 학습은 하산 문제가 됩니다.
“미분 실험실의 접선 기울기가 여기서 나침반이 된다.”
'기울기가 0인 곳에 최소가 있다'(미분)와 '기울기 반대 방향으로 가면 내려간다'(경사하강법)는 같은 사실의 두 얼굴입니다.
Misconception
사람들이 흔히 하는 오해
기울기를 따라 내려가면 항상 가장 낮은 곳에 도착한다.
골짜기가 여러 개면 출발점 근처의 '지역 최소'에 갇힐 수 있습니다. 전역 최소의 보장은 없어요. 그래서 AI 학습은 출발점을 바꿔 여러 번 시도하고, 관성(모멘텀) 같은 기법을 씁니다.
걸음(학습률)은 클수록 빨리 도착하니 좋다.
너무 크면 골짜기를 뛰어넘어 반대편으로 가고, 더 크면 아예 발산해 산 밖으로 튕겨 나갑니다. 너무 작으면 하세월이에요. 학습률 조절이 AI 훈련의 절반입니다.
Formula
수식으로 정리하기
안개 속 하산의 한 걸음을 수식으로 쓰면 경사하강법의 전부입니다.
공식 해부 — 안개 속 하산 실험과 짝지어 보기
= − ×
갱신 규칙
새 위치 = 지금 위치 − 학습률 × 기울기입니다. 기울기가 +면 왼쪽으로, −면 오른쪽으로 가요. 언제나 내리막 방향입니다.
학습률 η의 세 운명
실험에서 본 그대로입니다. 좋은 η는 지형(곡률)에 달려 있어, 실전에선 스케줄링과 적응형 기법(Adam 등)을 써요.
멈추는 곳
기울기 0에서 갱신이 멈춥니다. 골짜기 바닥(최소)일 수도, 지역 최소일 수도 있어요. 미분 실험실의 '기울기 사냥'이 여기서 완성됩니다.
In Real Life
현실에서 만나는 곳
딥러닝 훈련
GPT의 수천억 파라미터도 결국 이 갱신 규칙으로 조정됩니다. '훈련 중'이란 경사하강이 돌고 있다는 뜻이에요.
추천 알고리즘
'예측 별점과 실제 별점의 오차'를 산으로 놓고 내려간 결과가 당신의 추천 목록입니다.
사진 보정의 자동 맞춤
'원본과의 차이'를 최소화하는 방향으로 필터 파라미터를 조정하는 것도 같은 구조입니다.
경제학의 최적화
비용 최소화와 효용 최대화처럼 경사를 따라 최적점을 찾는 사고는 AI 이전부터 경제학의 도구였습니다.
Practice
풀어보기 — 유형 정복
유형별 문제 4개 — 스스로 풀어 정복하기탭해서 문제 풀기 ▾
f(x) = (x−3)², 현재 x = 5, 학습률 0.1일 때 다음 위치는 어디일까요?
학습률을 아주 크게(예: 1.05) 잡으면 어떤 일이 벌어질까요?
공이 기울기 0인 지점에 정확히 도착했습니다. 다음 걸음은 어디로 갈까요?
골짜기가 두 개인 산에서 경사하강법은 항상 가장 낮은 곳에 도착할까요?
증명 실험실
여기서는 비유를 쓰지 않습니다.
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
학습 실험실
이 개념은 학년 전체에서 어디쯤일까요?
앞뒤로 무엇이 오는지 순서대로 읽어보기 →
Connection
개념은 이어진다
이전 개념
다음 개념으로 연결
Related
함께 보면 좋은 실험실
관련 실험실
관련 실험실