Xavier (Glorot) Initialization

He init(86) 은 ReLU 용. 그 전에 제안된 Xavier/Glorot (2010) 은 tanh/sigmoid-v1 같은 포화 활성화에 맞춘 초기화:

$W_{ij} \sim \mathcal{N}\!\left(0,\ \frac{2}{\text{fan\_in} + \text{fan\_out}}\right)$

즉 표준편차 = $\sqrt{2 / (\text{fan\_in} + \text{fan\_out})}$.

He vs Xavier

Xavier 는 forward·backward 둘 다 variance를 유지하려는 타협치. He 는 ReLU가 절반을 죽이므로 forward 쪽만 본 더 큰 값.

과제

함수 xavier_init(fan_in, fan_out, seed) 를 완성하세요.

• 반환: (fan_in, fan_out) 행렬.
• rng.normal(0, sqrt(2/(fan_in + fan_out)), ...).

테스트 케이스