∇ · 경사하강법
발밑 기울기를 나침반 삼아 오차의 산을 내려가는 경사하강법
안개가 짙어 한 치 앞도 안 보이는 산. 발밑의 기울기만 느낄 수 있다면, 어떻게 내려갈까?
보폭과 시작점에 따라 결과가 달라짐을 봅니다.
챗GPT가 학습하는 단 하나의 방법
몰입형 화면으로도 볼 수 있어요 →이 글이 있는 읽기 길: 오차를 줄이며 배우기 · 2/3
이 질문이 왜 필요할까요?
AI의 '학습'이란 무엇일까요? 모델의 손잡이(파라미터)를 돌려 오차를 줄이는 일입니다. 그런데 손잡이가 수십억 개라면, 어떤 방향으로 돌려야 할까요?
모든 방향을 시도해보는 것은 불가능합니다. 하지만 미분은 '지금 위치에서 오차가 가장 가파르게 줄어드는 방향'을 즉시 알려줘요. 안개 속에서도 발밑 경사는 느낄 수 있는 것처럼요.
그 방향으로 조금 이동하고, 다시 미분하고, 또 이동합니다. 이 단순한 반복이 경사하강법이고, ChatGPT부터 추천 알고리즘까지 현대 AI 전체가 이 위에서 학습해요.
잠깐, 직접 확인해 볼까요?
먼저 결과를 예상해 보세요. 값을 하나씩 바꾸면서 예상과 무엇이 다른지 살펴봅시다.
예측 먼저 — 발밑 기울기의 반대 방향으로만 계속 걸으면, 항상 산의 가장 낮은 곳에 도착할까요?
오차의 산 — 한 걸음씩 내려가보세요 (η=0.3)
위치 x
5.50
오차 f(x)
7.25
발밑 기울기
5.00
같은 생각을 다른 말로 읽어 봅시다
경사하강법은 현재 위치에서 함수를 가장 빨리 늘리는 방향의 반대로 조금 움직이는 방법입니다. 한 번의 이동을 정하는 규칙이지, 어떤 함수에서나 가장 낮은 곳에 도착한다는 보장은 아닙니다.
f(x)=x²에서는 기울기가 2x이므로 x를 x−2ηx로 바꿉니다. η=1/4이면 다음 x는 절반입니다. 반면 η=1이면 x가 부호만 바꾸며 같은 크기로 왕복합니다.
AI는 정답을 '아는' 게 아니라 오차를 '줄이는' 것이다.
학습의 목표는 진리가 아니라 오차 함수의 최소화입니다. 이 관점 전환이 기계학습 전체를 이해하는 열쇠예요. 산의 모양(오차 함수)을 정의하는 순간 학습은 하산 문제가 됩니다.
미분 실험실의 접선 기울기가 여기서 나침반이 된다.
'기울기가 0인 곳에 최소가 있다'(미분)와 '기울기 반대 방향으로 가면 내려간다'(경사하강법)는 같은 사실의 두 얼굴입니다.
이제 정의와 조건을 함께 읽습니다
학습률과 함수의 성질에 따라 수렴 여부가 달라집니다. 비볼록 문제에서는 지역해와 안장점도 고려합니다.
안개 속 하산의 한 걸음을 수식으로 쓰면 경사하강법의 전부입니다.
공식 해부 — 안개 속 하산 실험과 짝지어 보기
= − ×
갱신 규칙
새 위치 = 지금 위치 − 학습률 × 기울기입니다. 기울기가 +면 왼쪽으로, −면 오른쪽으로 가요. 언제나 내리막 방향입니다.
학습률 η의 세 운명
실험에서 본 그대로입니다. 좋은 η는 지형(곡률)에 달려 있어, 실전에선 스케줄링과 적응형 기법(Adam 등)을 써요.
멈추는 곳
기울기 0에서 갱신이 멈춥니다. 골짜기 바닥(최소)일 수도, 지역 최소일 수도 있어요. 미분 실험실의 '기울기 사냥'이 여기서 완성됩니다.
여기서 한 번 더 구분해 볼까요?
기울기를 따라 내려가면 항상 가장 낮은 곳에 도착한다.
골짜기가 여러 개면 출발점 근처의 '지역 최소'에 갇힐 수 있습니다. 전역 최소의 보장은 없어요. 그래서 AI 학습은 출발점을 바꿔 여러 번 시도하고, 관성(모멘텀) 같은 기법을 씁니다.
걸음(학습률)은 클수록 빨리 도착하니 좋다.
너무 크면 골짜기를 뛰어넘어 반대편으로 가고, 더 크면 아예 발산해 산 밖으로 튕겨 나갑니다. 너무 작으면 하세월이에요. 학습률 조절이 AI 훈련의 절반입니다.
다른 질문에서는 어떻게 쓰일까요?
딥러닝 훈련
GPT의 수천억 파라미터도 결국 이 갱신 규칙으로 조정됩니다. '훈련 중'이란 경사하강이 돌고 있다는 뜻이에요.
추천 알고리즘
'예측 별점과 실제 별점의 오차'를 산으로 놓고 내려간 결과가 당신의 추천 목록입니다.
사진 보정의 자동 맞춤
'원본과의 차이'를 최소화하는 방향으로 필터 파라미터를 조정하는 것도 같은 구조입니다.
경제학의 최적화
비용 최소화와 효용 최대화처럼 경사를 따라 최적점을 찾는 사고는 AI 이전부터 경제학의 도구였습니다.
이번에는 내 말로 설명해 보세요
낮아지는 방향으로 출발했는데도 값이 커질 수 있을까요?
생각한 뒤 설명 확인하기
한 번에 너무 멀리 이동하면 가능합니다. 방향과 이동 거리 두 가지를 함께 정해야 합니다.
계산과 개념을 문제로 확인하기 (4)
문제 완료 0 / 4
1. f(x) = (x−3)², 현재 x = 5, 학습률 0.1일 때 다음 위치는 어디일까요?
2. 학습률을 아주 크게(예: 1.05) 잡으면 어떤 일이 벌어질까요?
3. 공이 기울기 0인 지점에 정확히 도착했습니다. 다음 걸음은 어디로 갈까요?
4. 골짜기가 두 개인 산에서 경사하강법은 항상 가장 낮은 곳에 도착할까요?
다른 질문으로 한 번 더 생각하기
Q1f(x)=(x−3)², 현재 x=5, 학습률 0.1이면 다음 위치는?답 보기 ▾
기울기 f'(5)=2(5−3)=4입니다. 다음 위치 = 5 − 0.1×4 = 4.6이에요. 골짜기(x=3) 쪽으로 한 걸음 다가갔습니다.
Q2골짜기 바닥에 정확히 도착하면(기울기 0) 다음 걸음은 어디로 갈까요?답 보기 ▾
아무 데도 안 갑니다. 이동량 = η×0 = 0이에요. 기울기 0인 지점이 경사하강법의 종착지인 이유입니다. 단, 그곳이 지역 최소일 수도 있죠.
Q3오르막을 '올라가고' 싶다면(최대화) 갱신 규칙을 어떻게 바꿔야 할까요?답 보기 ▾
부호 하나입니다. x ← x + η·f'(x)로 바꾸면 경사상승법이에요. 이익 최대화 문제는 부호만 바꾸면 같은 알고리즘으로 풉니다.
답을 열기 전에 반드시 먼저 스스로 답해보세요 — 틀리는 것이 학습의 시작입니다.
다음에는 어떤 질문을 해볼까요?
이 글이 있는 읽기 길: 오차를 줄이며 배우기 · 2/3
증명 실험실
여기서는 비유를 쓰지 않습니다.
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
학습 실험실
이 개념은 학년 전체에서 어디쯤일까요?
앞뒤로 무엇이 오는지 순서대로 읽어보기 →
이전 개념
다음 개념으로 연결
관련 실험실
관련 실험실