He Uniform Initialization

86번 He Init (Normal) 은 가우시안 분포를 썼습니다. Uniform 버전 은 균일분포를 쓰되 같은 분산 이 되도록:

$W_{ij} \sim U(-b, b), \quad b = \sqrt{\frac{6}{\text{fan\_in}}}$

왜 $\sqrt{6/n}$ 인가?

균일분포 $U(-b, b)$ 의 분산은: $\text{Var} = \frac{(2b)^2}{12} = \frac{b^2}{3}$

He init 의 목표 분산은 $2/n$. 그래서: $\frac{b^2}{3} = \frac{2}{n} \implies b = \sqrt{6/n}$

Uniform vs Normal

특성	He Normal	He Uniform
분포	가우시안	균일
꼬리	길다 (큰 값 희박하게 등장)	잘림
분산	동일 $2/n$	동일 $2/n$
실무	거의 차이 없음	거의 차이 없음

PyTorch 기본은 uniform (kaiming_uniform_), TensorFlow Keras 는 normal 이 더 일반적. 둘 다 통용됨.

과제

함수 he_uniform_init(fan_in, fan_out, seed) 를 완성하세요.

• 반환: shape (fan_in, fan_out), 값 $\in (-b, b)$ with $b = \sqrt{6 / \text{fan\_in}}$.
• rng = np.random.default_rng(seed); rng.uniform(-b, b, size=(fan_in, fan_out)).

테스트 케이스

#	이름	검증
1	shape (fan_in, fan_out)
2	평균 ≈ 0	큰 크기
3	범위 ⊂ (-b, b)	b = √(6/fan_in)
4	분산 ≈ 2/fan_in	같은 분산
5	시드 재현성