XOR 하나를 못 풀어 인공지능을 '겨울'에 빠뜨린 신경망
손글씨 숫자를 알아보는 AI — 그 안에는 대체 어떤 신비한 수학이 들어 있을까?
신비한 수학이 아니라, 익숙한 수학이 겹겹이 쌓인 것
Experiment
직접 만져보기
예측 먼저 — 손글씨를 알아보는 신경망 안에는 완전히 새로운 수학이 들어 있을까요?
뉴런 하나를 조종해 AND 게이트를 만드세요
출력 = (w₁x₁ + w₂x₂ + b > 0 이면 1). 네 줄 모두 ✓가 되도록 손잡이를 돌리세요.
파란 영역이 출력 1입니다. 손잡이를 돌리면 직선이 움직여요. (1,1)만 파란 영역에 남기면 성공입니다.
| 입력 | 출력 | 목표 | |
|---|---|---|---|
| (0, 0) | 0 | 0 | ✓ |
| (0, 1) | 1 | 0 | ✗ |
| (1, 0) | 1 | 0 | ✗ |
| (1, 1) | 1 | 1 | ✓ |
더 읽기 — 왜 필요한가 · 인사이트 · 흔한 오해 · 수식 정리펼치기 ▾
Why
왜 필요한가
ChatGPT도 얼굴 인식도 번역기도 전부 신경망입니다. 블랙박스처럼 보이지만, 열어 보면 이 사이트에서 배운 수학밖에 없어요.
뉴런 하나가 곧 함수 하나입니다. 그러므로 층을 쌓는 일은 함수를 합성하는 일이 되고, 합성된 함수라서 미분이 통합니다. 미분이 통하니 오차를 줄이는 방향으로 가중치를 옮길 수 있어요. 그것이 학습입니다.
그래서 신경망은 수학 여정의 종착지이자 전망대예요. 함수의 여정, 변화의 여정, 불확실성의 여정이 여기서 하나로 만납니다.
Insight
영상에서 말한 인사이트
“뉴런은 뇌세포가 아니라 함수다.”
입력을 받아 가중치를 곱해 더하고, 문턱을 넘으면 신호를 내보냅니다. 함수 실험실의 '상자' 그대로예요. 이름에 속지 않는 것이 이해의 첫걸음입니다.
“지능처럼 보이는 것은 규모와 합성이다.”
뉴런 하나는 초라합니다. 하지만 수억 개를 쌓고 경사하강법으로 조율하면 패턴을 알아보기 시작해요. 단순한 규칙을 방대하게 반복하는 것, 그것이 수학이 지능을 흉내 내는 방식입니다.
Misconception
사람들이 흔히 하는 오해
신경망 안에는 뇌를 모방한 신비한 새 수학이 있다.
뉴런 하나는 '가중치를 곱해 더하고 문턱을 넘으면 발화'하는 단순한 함수입니다. 수학적으로 새로운 것은 없어요. 단순한 것을 방대하게 합성하면 복잡한 패턴이 나옵니다.
층을 쌓는 것은 그냥 계산을 여러 번 하는 것이다.
합성은 표현력을 질적으로 바꿉니다. 뉴런 하나는 직선 하나로만 세상을 가르지만, 층을 쌓으면 어떤 모양의 경계든 만들 수 있어요. XOR의 벽이 무너진 것이 그 증거입니다.
Formula
수식으로 정리하기
실험에서 조종한 것들을 수식으로 쓰면 신경망의 전부입니다.
공식 해부 — 슬라이더 세 개로 조종한 뉴런과 짝지어 보기
= )
뉴런 하나
가중치를 곱해 더한 뒤(w·x+b) 활성화 함수 σ에 통과시킵니다. 슬라이더로 조종한 그 세 손잡이예요. 일차함수에 문턱을 합성한 것입니다.
층 쌓기 = 함수 합성
층 하나가 함수 하나입니다. 합성할수록 그릴 수 있는 경계가 풍부해져요. XOR의 벽이 무너진 이유입니다.
학습 = 경사하강법
오차 L을 가중치로 미분해 반대 방향으로 옮깁니다. 직전 실험실의 갱신 규칙 그대로예요. 층을 거슬러 미분을 전달하는 것이 역전파입니다.
In Real Life
현실에서 만나는 곳
이미지 인식
픽셀에서 가장자리로, 형태로, 마침내 '고양이'로 올라갑니다. 층마다 조금씩 더 추상적인 특징을 합성해요.
언어 모델
ChatGPT의 본질은 '문맥을 넣으면 다음 단어의 확률이 나오는' 거대한 함수입니다. 함수 실험실의 상자가 수천억 개의 손잡이로 커진 것이에요.
추천과 검색
'이 사용자가 클릭할 확률'을 내놓는 신경망이 피드의 순서를 정합니다.
과학의 도구
단백질 구조 예측, 일기예보, 신약 후보 탐색에 이미 쓰이고 있어요. 신경망은 과학의 새 현미경입니다.
Practice
풀어보기 — 유형 정복
유형별 문제 4개 — 스스로 풀어 정복하기탭해서 문제 풀기 ▾
뉴런 y = step(x₁ + x₂ − 0.5)는 어떤 논리 게이트일까요?
단일 뉴런이 XOR을 풀지 못하는 이유는?
신경망이 '학습'한다는 것의 수학적 정체는?
층 쌓기 y = f₃(f₂(f₁(x)))의 수학적 정체는?
증명 실험실
여기서는 비유를 쓰지 않습니다.
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
Connection
개념은 이어진다
이전 개념
다음 개념으로 연결
Related
함께 보면 좋은 실험실
관련 실험실
관련 실험실