AI · 신경망
신비한 수학이 아니라, 익숙한 수학이 겹겹이 쌓인 것
손글씨 숫자를 알아보는 AI — 그 안에는 대체 어떤 신비한 수학이 들어 있을까?
모델의 출력과 참을 구분합니다.
XOR 하나를 못 풀어 인공지능을 '겨울'에 빠뜨린 신경망
몰입형 화면으로도 볼 수 있어요 →이 글이 있는 읽기 길: 오차를 줄이며 배우기 · 3/3
이 질문이 왜 필요할까요?
ChatGPT도 얼굴 인식도 번역기도 전부 신경망입니다. 블랙박스처럼 보이지만, 열어 보면 이 사이트에서 배운 수학밖에 없어요.
뉴런 하나가 곧 함수 하나입니다. 그러므로 층을 쌓는 일은 함수를 합성하는 일이 되고, 합성된 함수라서 미분이 통합니다. 미분이 통하니 오차를 줄이는 방향으로 가중치를 옮길 수 있어요. 그것이 학습입니다.
그래서 신경망은 수학 여정의 종착지이자 전망대예요. 함수의 여정, 변화의 여정, 불확실성의 여정이 여기서 하나로 만납니다.
잠깐, 직접 확인해 볼까요?
먼저 결과를 예상해 보세요. 값을 하나씩 바꾸면서 예상과 무엇이 다른지 살펴봅시다.
예측 먼저 — 손글씨를 알아보는 신경망 안에는 완전히 새로운 수학이 들어 있을까요?
뉴런 하나를 조종해 AND 게이트를 만드세요
출력 = (w₁x₁ + w₂x₂ + b > 0 이면 1). 네 줄 모두 ✓가 되도록 손잡이를 돌리세요.
파란 영역이 출력 1입니다. 손잡이를 돌리면 직선이 움직여요. (1,1)만 파란 영역에 남기면 성공입니다.
| 입력 | 출력 | 목표 | |
|---|---|---|---|
| (0, 0) | 0 | 0 | ✓ |
| (0, 1) | 1 | 0 | ✗ |
| (1, 0) | 1 | 0 | ✗ |
| (1, 1) | 1 | 1 | ✓ |
같은 생각을 다른 말로 읽어 봅시다
신경망의 출발점은 가중합과 함수 합성입니다. 복잡한 대상을 여러 번의 변환으로 표현한다는 생각이 중요하지만, 층 수만 늘리면 언제나 표현력과 학습 성능이 좋아진다고 보아서는 안 됩니다.
비선형 활성화 없이 선형변환을 여러 번 합성하면 여전히 하나의 선형변환입니다. XOR처럼 한 직선으로 구분할 수 없는 배치를 다루려면 비선형성이 역할을 해야 합니다.
뉴런은 뇌세포가 아니라 함수다.
입력을 받아 가중치를 곱해 더하고, 문턱을 넘으면 신호를 내보냅니다. 함수 실험실의 '상자' 그대로예요. 이름에 속지 않는 것이 이해의 첫걸음입니다.
지능처럼 보이는 것은 규모와 합성이다.
뉴런 하나는 초라합니다. 하지만 수억 개를 쌓고 경사하강법으로 조율하면 패턴을 알아보기 시작해요. 단순한 규칙을 방대하게 반복하는 것, 그것이 수학이 지능을 흉내 내는 방식입니다.
이제 정의와 조건을 함께 읽습니다
이 실험은 작은 신경망의 원리를 다룹니다. 모든 현대 모델의 구조와 학습·일반화 문제를 다 설명하는 것은 아닙니다.
실험에서 조종한 것들을 수식으로 쓰면 신경망의 전부입니다.
공식 해부 — 슬라이더 세 개로 조종한 뉴런과 짝지어 보기
= )
뉴런 하나
가중치를 곱해 더한 뒤(w·x+b) 활성화 함수 σ에 통과시킵니다. 슬라이더로 조종한 그 세 손잡이예요. 일차함수에 문턱을 합성한 것입니다.
층 쌓기 = 함수 합성
층 하나가 함수 하나입니다. 합성할수록 그릴 수 있는 경계가 풍부해져요. XOR의 벽이 무너진 이유입니다.
학습 = 경사하강법
오차 L을 가중치로 미분해 반대 방향으로 옮깁니다. 직전 실험실의 갱신 규칙 그대로예요. 층을 거슬러 미분을 전달하는 것이 역전파입니다.
여기서 한 번 더 구분해 볼까요?
신경망 안에는 뇌를 모방한 신비한 새 수학이 있다.
뉴런 하나는 '가중치를 곱해 더하고 문턱을 넘으면 발화'하는 단순한 함수입니다. 수학적으로 새로운 것은 없어요. 단순한 것을 방대하게 합성하면 복잡한 패턴이 나옵니다.
층을 쌓는 것은 그냥 계산을 여러 번 하는 것이다.
합성은 표현력을 질적으로 바꿉니다. 뉴런 하나는 직선 하나로만 세상을 가르지만, 층을 쌓으면 어떤 모양의 경계든 만들 수 있어요. XOR의 벽이 무너진 것이 그 증거입니다.
다른 질문에서는 어떻게 쓰일까요?
이미지 인식
픽셀에서 가장자리로, 형태로, 마침내 '고양이'로 올라갑니다. 층마다 조금씩 더 추상적인 특징을 합성해요.
언어 모델
ChatGPT의 본질은 '문맥을 넣으면 다음 단어의 확률이 나오는' 거대한 함수입니다. 함수 실험실의 상자가 수천억 개의 손잡이로 커진 것이에요.
추천과 검색
'이 사용자가 클릭할 확률'을 내놓는 신경망이 피드의 순서를 정합니다.
과학의 도구
단백질 구조 예측, 일기예보, 신약 후보 탐색에 이미 쓰이고 있어요. 신경망은 과학의 새 현미경입니다.
이번에는 내 말로 설명해 보세요
층을 두 개 쌓았다는 사실만으로 XOR을 표현할 수 있을까요?
생각한 뒤 설명 확인하기
부품에 따라 다릅니다. 선형·아핀 변환만 합성하면 그 종류를 벗어나지 못하므로 비선형 활성화 등 조건을 확인해야 합니다.
계산과 개념을 문제로 확인하기 (4)
문제 완료 0 / 4
1. 뉴런 y = step(x₁ + x₂ − 0.5)는 어떤 논리 게이트일까요?
2. 단일 뉴런이 XOR을 풀지 못하는 이유는?
3. 신경망이 '학습'한다는 것의 수학적 정체는?
4. 층 쌓기 y = f₃(f₂(f₁(x)))의 수학적 정체는?
다른 질문으로 한 번 더 생각하기
Q1뉴런 y = step(x₁ + x₂ − 1.5)는 어떤 논리 게이트일까요?답 보기 ▾
AND입니다. (1,1)일 때만 합이 2로 문턱 1.5를 넘어 1을 출력하죠. 문턱을 0.5로 낮추면 OR이 됩니다 — 가중치가 곧 기능입니다.
Q2단일 뉴런이 XOR을 못 푸는 이유를 그림으로 설명하면?답 보기 ▾
뉴런 하나는 평면을 직선 하나로 가릅니다. XOR의 정답 (0,1),(1,0)과 오답 (0,0),(1,1)은 대각선으로 엇갈려 있어 어떤 직선으로도 분리 불가 — 층을 쌓아 곡선 경계를 만들어야 합니다.
Q3신경망 부품 중 이 사이트에서 배우지 않은 것이 있나요?답 보기 ▾
없습니다. 뉴런=함수, 층=합성, 학습=미분(경사하강), 출력=확률. 여정의 모든 정거장이 여기서 만납니다 — 그것이 이 실험실이 종착지인 이유입니다.
답을 열기 전에 반드시 먼저 스스로 답해보세요 — 틀리는 것이 학습의 시작입니다.
다음에는 어떤 질문을 해볼까요?
이 글이 있는 읽기 길: 오차를 줄이며 배우기 · 3/3
증명 실험실
여기서는 비유를 쓰지 않습니다.
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
믿기로 한 것 몇 줄에서 출발해 직접 걸어가기 →
이전 개념
다음 개념으로 연결
관련 실험실
관련 실험실