PROOF 178
증명하라.
활성함수가 없으면 층을 쌓아도 일차함수다
선형사상 위에서.
한 줄씩, 이유를 따라가 봅시다
먼저 이미 주어진 것과 앞으로 보여야 할 것을 나누어 읽어 보세요. 다음 줄로 넘어갈 때마다 어떤 정의나 앞의 결과를 사용했는지 묻습니다. 연결이 보이지 않으면 결론을 외우기보다 그 전제로 잠시 돌아가도 좋습니다.
정의 D1
행렬 W 에 대하여 x ↦ Wx 를 선형층이라 한다.
증명.
(1)선형층은 선형사상이다. 곧 W(ax + by) = a(Wx) + b(Wy) 를 만족한다.A1
∎
정의 D2
선형층 f₁, …, fₙ 을 차례로 적용한 fₙ∘⋯∘f₁ 을 활성함수 없는 n 층 신경망이라 한다.
증명.
(1)(g∘f)(x) = g(f(x)) 이므로 앞 층의 값이 다음 층의 입력이 된다.A9
∎
정의 D3
행렬 W 와 벡터 b 에 대하여 x ↦ Wx + b 를 아핀층이라 한다. b 를 편향이라 한다.
증명.
(1)b = 0 이면 Wx + 0 = Wx 이므로 선형층과 같다.D1, A7
∎
정리 T1
선형층 두 개의 합성은 선형층 하나다. 곧 W₂(W₁x) = (W₂W₁)x
증명.
(1)f₁(x) = W₁x, f₂(y) = W₂y 는 선형사상이다.D1, A1
(2)(f₂∘f₁)(x) = W₂(W₁x)A9, D1
(3)f₂∘f₁ 도 선형사상이다.(1), A3
(4)그 행렬은 W₂W₁ 이므로 (f₂∘f₁)(x) = (W₂W₁)x(3), A2, D1
(5)그러므로 두 층은 하나의 층과 같은 함수다.(2), (4)
∎
정리 T2
n ≥ 1 이면 Wₙ(⋯(W₁x)⋯) = (Wₙ⋯W₁)x 이다. 곧 n 층은 한 층이다.
증명.
(1)n = 1 은 그 자체다.D1
(2)n 에서 성립한다 하고 M = Wₙ⋯W₁ 로 두면 Wₙ(⋯(W₁x)) = Mx가정
(3)n+1 층의 값은 Wₙ₊₁(Mx)(2), D2, A9
(4)T1 에 의해 Wₙ₊₁(Mx) = (Wₙ₊₁M)x(3), T1
(5)결합법칙에 의해 Wₙ₊₁M 은 괄호 없이 Wₙ₊₁Wₙ⋯W₁ 로 적을 수 있다.(4), A4
(6)귀납법에 의해 모든 n ≥ 1 에서 성립한다.(1), (5), A10
∎
정리 T3
아핀층 n 개의 합성도 아핀층 하나다. 곧 어떤 행렬 W 와 벡터 c 가 있어 값이 Wx + c 다.
증명.
(1)n = 1 은 그 자체다.D3
(2)아핀층 두 개를 겹치면 W₂(W₁x + b₁) + b₂D3, A9
(3)W₂ 는 선형이므로 W₂(W₁x + b₁) = W₂(W₁x) + W₂b₁(2), A1, A8
(4)T1 에 의해 W₂(W₁x) = (W₂W₁)x(3), T1
(5)덧셈의 결합법칙으로 묶으면 (W₂W₁)x + (W₂b₁ + b₂)(2), (3), (4), A6
(6)그러므로 두 아핀층은 W = W₂W₁, c = W₂b₁ + b₂ 인 아핀층 하나다.(5), D3
(7)n 에서 성립한다 하면 n+1 층은 아핀층 두 개의 합성이므로 (6) 이 그대로 쓰인다.가정, (6)
(8)귀납법에 의해 모든 n ≥ 1 에서 성립한다.(1), (7), A10
∎
따름정리 C
활성함수가 없으면 층을 쌓아도 표현할 수 있는 함수의 모임이 늘지 않는다.
증명.
(1)n 층으로 얻는 함수는 모두 x ↦ Wx + c 꼴이다.T3
(2)거꾸로 x ↦ Wx + c 는 나머지 층을 W = I, b = 0 으로 둔 n 층이기도 하다.D3, A5, A7
(3)그러므로 n 층으로 얻는 함수의 모임과 1 층으로 얻는 모임은 같다.(1), (2)
(4)층 사이에 함수 σ 를 끼워도, σ 가 A1 을 만족하면 σ 는 선형층이므로 (3) 에 의해 다시 접힌다.(3), A1, A2, D1
(5)그러므로 접힘을 막으려면 σ 는 A1 을 만족하지 않아야 한다. 활성함수의 자리가 거기다.(4)
∎
비고
A1 은 이 증명에서 제거할 수 있는가.
층을 겹쳐 쓰는 일 자체는 A1 없이도 할 수 있다. 겹친 것을 하나로 접는 줄이 무엇을 인용하는지 보라.