PROOF 176
증명하라.
학습률이 크면 발산한다
실수 ℝ 위에서.
한 줄씩, 이유를 따라가 봅시다
먼저 이미 주어진 것과 앞으로 보여야 할 것을 나누어 읽어 보세요. 다음 줄로 넘어갈 때마다 어떤 정의나 앞의 결과를 사용했는지 묻습니다. 연결이 보이지 않으면 결론을 외우기보다 그 전제로 잠시 돌아가도 좋습니다.
정의 D1
f(x) = x² 로 두고, 학습률 η > 0 과 출발점 x₀ 에 대하여 xₙ₊₁ = xₙ − η f′(xₙ) 로 정한다.
증명.
(1)f′(x) = 2x 이므로 xₙ₊₁ = xₙ − η·2xₙA1
(2)xₙ − (2η)xₙ = (1 − 2η)xₙ(1), A9, A10, A11, A12
(3)q = 1 − 2η 로 두면 xₙ₊₁ = q xₙ 이다. 곧 공비 q 인 등비수열이다.(2), 약속
∎
정의 D2
수열 (xₙ) 이 발산한다는 것은, 모든 M > 0 에 대하여 |xₙ| > M 인 n 이 있다는 것이다.
증명.
(1)수렴하는 수열은 유계이므로, 유계가 아닌 수열은 수렴하지 않는다.A22
∎
보조정리 L1
모든 n ≥ 0 에 대하여 xₙ = qⁿ x₀ 이다.
증명.
(1)n = 0 일 때 q⁰x₀ = 1·x₀ = x₀A5, A11, A12
(2)n 에서 xₙ = qⁿx₀ 라 하자.가정
(3)xₙ₊₁ = q xₙ = q(qⁿx₀) = (q·qⁿ)x₀ = qⁿ⁺¹x₀(2), D1, A10, A11, A5
(4)귀납법에 의해 모든 n ≥ 0 에서 성립한다.(1), (3), A7
∎
보조정리 L2
|q| > 1 이고 x₀ ≠ 0 이면 (xₙ) 은 발산한다.
증명.
(1)|q| > 1 이므로 h = |q| − 1 로 두면 h > 0 이고 |q| = 1 + h 다.가정, A13, A18, A19
(2)|xₙ| = |qⁿx₀| = |q|ⁿ|x₀|L1, A6, A7
(3)|q|ⁿ = (1+h)ⁿ ≥ 1 + nh(1), A3
(4)M > 0 이라 하자. x₀ ≠ 0 이므로 |x₀| > 0 이고, h|x₀| > 0 이다.가정, A16, A14, A12
(5)아르키메데스 성질에 의해 n·(h|x₀|) > M 인 n 이 있다.(1), (4), A4
(6)|xₙ| ≥ (1 + nh)|x₀| = |x₀| + n(h|x₀|) > n(h|x₀|) > M(2), (3), (4), (5), A14, A8, A10, A12, A13, A15
(7)그러므로 (xₙ) 은 유계가 아니다. 곧 발산한다.(6), D2
∎
정리 T1
η > 1 이고 x₀ ≠ 0 이면 (xₙ) 은 발산한다.
증명.
(1)η > 1 이므로 2η > 2가정, A14, N
(2)양변에 1 − 2η − 2 를 더하면 −1 > 1 − 2η, 곧 q < −1(1), A13, A18, A19, A20, A21, D1
(3)q < −1 < 0 이므로 |q| = −q 이고, −1 > q 의 양변에 −q + 1 을 더하면 |q| > 1(2), A17, A13, A18, A19, A20, A21
(4)L2 에 의해 (xₙ) 은 발산한다.(3), 가정, L2
(5)η = 1.5, x₀ = 1 이면 q = −2 이고 x₁ = 1 − 1.5·2·1 = −2, x₂ = −2 − 1.5·2·(−2) = 4D1, L1, N
(6)|xₙ| = 2ⁿ 이므로 값이 끝없이 커진다. 최솟값 x = 0 에서 멀어지는 것이다.(5), L1, A6, N
∎
정리 T2
0 < η < 1 이면 lim xₙ = 0 이다.
증명.
(1)0 < η < 1 이므로 0 < 2η < 2가정, A14, N
(2)각 변에 1 을 더하고 부호를 옮기면 −1 < 1 − 2η < 1, 곧 |q| < 1(1), A13, A17, A18, A19, A21, D1
(3)|q| < 1 이므로 lim qⁿ = 0(2), A2
(4)xₙ = qⁿx₀ 이므로 lim xₙ = 0·x₀ = 0(3), L1, A24, A11, A12
(5)η = 0.25 이면 q = 0.5 이고 x₁ = 1 − 0.25·2·1 = 0.5, x₂ = 0.25 이다.D1, L1, N
∎
따름정리 C
η = 1 이고 x₀ ≠ 0 이면 (xₙ) 은 발산하지도 수렴하지도 않는다.
증명.
(1)η = 1 이면 q = 1 − 2 = −1 이므로 xₙ = (−1)ⁿx₀ 이고 xₙ₊₁ = −xₙ 이다.D1, L1, N
(2)|xₙ| = |(−1)ⁿ||x₀| = |x₀| 이므로 (xₙ) 은 유계다. 곧 발산하지 않는다.(1), A6, A7, A12, D2
(3)xₙ₊₁ − xₙ = −xₙ − xₙ 이므로 |xₙ₊₁ − xₙ| = 2|x₀|(1), (2), A6, A9, A18, N
(4)x₀ ≠ 0 이므로 2|x₀| > 0 이고, 이 값은 n 에 관계없이 일정하다.(3), A16, A14
(5)수렴한다면 xₙ₊₁ − xₙ 은 0 으로 가야 한다. 그러므로 (xₙ) 은 수렴하지 않는다.(4), A23
(6)η = 1 은 수렴과 발산의 경계다. 값은 커지지도 작아지지도 않고 부호만 뒤집힌다.(2), (5)
∎
비고
A2 는 이 증명들에서 제거할 수 있는가.
발산을 세우는 줄과 수렴을 세우는 줄이 각각 무엇을 인용하는지 견주어 보라.