He Uniform Initialization

86번 He Init (Normal) 은 가우시안 분포를 썼습니다. Uniform 버전 은 균일분포를 쓰되 같은 분산 이 되도록:

$W_{ij} \sim U(-b, b), \quad b = \sqrt{\frac{6}{\text{fan\_in}}}$

왜 $\sqrt{6/n}$ 인가?

균일분포 $U(-b, b)$ 의 분산은: $\text{Var} = \frac{(2b)^2}{12} = \frac{b^2}{3}$

He init 의 목표 분산은 $2/n$. 그래서: $\frac{b^2}{3} = \frac{2}{n} \implies b = \sqrt{6/n}$

Uniform vs Normal

PyTorch 기본은 uniform (kaiming_uniform_), TensorFlow Keras 는 normal 이 더 일반적. 둘 다 통용됨.

과제

함수 he_uniform_init(fan_in, fan_out, seed) 를 완성하세요.

• 반환: shape (fan_in, fan_out), 값 $\in (-b, b)$ with $b = \sqrt{6 / \text{fan\_in}}$.
• rng = np.random.default_rng(seed); rng.uniform(-b, b, size=(fan_in, fan_out)).

테스트 케이스