PROOF 197
증명하라.
많이 반복하면 평균은 기대값에 다가간다
확률공간 위에서.
한 줄씩, 이유를 따라가 봅시다
먼저 이미 주어진 것과 앞으로 보여야 할 것을 나누어 읽어 보세요. 다음 줄로 넘어갈 때마다 어떤 정의나 앞의 결과를 사용했는지 묻습니다. 연결이 보이지 않으면 결론을 외우기보다 그 전제로 잠시 돌아가도 좋습니다.
정의 D1
X₁, X₂, … 는 서로 독립이고 같은 분포를 따르는 확률변수로, E(Xᵢ) = μ 이고 Var(Xᵢ) = σ² < ∞ 라 하자. 표본평균을 X̄ₙ = (X₁ + … + Xₙ)/n 으로 정한다.
증명.
(1)사건 A 의 지시함수 1_A 는 A 에서 1, A 밖에서 0 인 확률변수다.약속
(2)μ 와 σ² 은 모든 Xᵢ 에서 같다.약속
∎
정의 D2
확률변수 Y 의 분산은 Var(Y) = E((Y − E(Y))²) 이다.
증명.
기대값에서 벗어난 편차를 제곱하여 다시 기대값을 취한 것이다.약속
∎
보조정리 L1
X ≥ 0 이고 a > 0 이면 P(X ≥ a) ≤ E(X)/a
증명.
(1)X ≥ 0, a > 0 이라 하고, A = {X ≥ a} 로 둔다.가정
(2)A 에서는 a·1_A = a ≤ X 이고, A 밖에서는 a·1_A = 0 ≤ X. 그러므로 a·1_A ≤ X(1), D1
(3)E(a·1_A) ≤ E(X)(2), A3
(4)E(a·1_A) = a E(1_A) = a P(X ≥ a)(1), A2, A4
(5)a P(X ≥ a) ≤ E(X)(3), (4), E
(6)a > 0 이므로 양변을 a 로 나눈다. P(X ≥ a) ≤ E(X)/a(1), (5), A8
∎
보조정리 L2
m = E(Y) 이고 ε > 0 이면 P(|Y − m| ≥ ε) ≤ Var(Y)/ε²
증명.
(1)ε > 0 이라 하자. (Y − m)² 은 0 이상이고, ε² 은 양수다.가정, A6, N
(2)사건 {|Y − m| ≥ ε} 와 사건 {(Y − m)² ≥ ε²} 는 같은 사건이다.(1), A7
(3)L1 을 X = (Y − m)², a = ε² 에 적용한다. P((Y−m)² ≥ ε²) ≤ E((Y−m)²)/ε²(1), L1
(4)E((Y − m)²) = Var(Y)D2
(5)P(|Y − m| ≥ ε) ≤ Var(Y)/ε²(2), (3), (4), E
∎
보조정리 L3
E(X̄ₙ) = μ
증명.
(1)E(X₁ + … + Xₙ) = E(X₁) + … + E(Xₙ) = nμA1, D1
(2)E(X̄ₙ) = (1/n) · nμ = μ(1), A2, D1, N
∎
보조정리 L4
Var(X̄ₙ) = σ²/n
증명.
(1)X₁, …, Xₙ 은 서로 독립이므로 Var(X₁ + … + Xₙ) = Var(X₁) + … + Var(Xₙ) = nσ²A5, D1
(2)Var(cY) = E((cY − cE(Y))²) = c² E((Y − E(Y))²) = c² Var(Y)D2, A2, N
(3)Var(X̄ₙ) = (1/n²) · nσ² = σ²/n(1), (2), D1, N
∎
정리 T1
임의의 ε > 0 에 대하여 P(|X̄ₙ − μ| ≥ ε) ≤ σ²/(nε²) 이고, n 이 커지면 이 확률은 0 으로 수렴한다.
증명.
(1)ε > 0 이라 하자.가정
(2)E(X̄ₙ) = μ 이므로 체비쇼프를 Y = X̄ₙ 에 적용한다. P(|X̄ₙ − μ| ≥ ε) ≤ Var(X̄ₙ)/ε²(1), L3, L2
(3)Var(X̄ₙ)/ε² = σ²/(nε²)(2), L4, N
(4)임의의 δ > 0 에 대하여, σ²/ε² > 0 이므로 σ²/(nε²) < δ 인 n 이 존재하고, 그보다 큰 모든 n 에서도 성립한다.A9, N
(5)그러므로 n → ∞ 일 때 P(|X̄ₙ − μ| ≥ ε) → 0. 이것이 0 으로 수렴한다는 것의 정의다.(3), (4), 약속
∎
따름정리 C
“다가간다”의 정확한 뜻은 확률적 수렴이다.
증명.
(1)T1 이 말하는 것은, 임의의 ε 에 대해 벗어날 확률이 0 으로 간다는 것이다. 모든 시행열의 평균이 μ 로 간다는 말이 아니다.T1
(2)앞면을 1, 뒷면을 0 으로 하는 공정한 동전에서 μ = 1/2 이고 σ² = 1/4 이다.약속, N
(3)n = 100, ε = 0.1 이면 한계는 (1/4)/(100 × 0.01) = 1/4(2), T1, N
(4)1/4 은 약한 한계다. 그러나 n 을 키우면 한계는 1/n 의 속도로 0 에 다가간다.(3), T1, N
∎
비고
A5 는 이 증명에서 제거할 수 있는가.
법칙의 이름에는 “많이”만 보인다. 반복이 서로 독립이라는 가정이 어느 줄에 쓰이는지 확인하라.