RMSNorm

LayerNorm(80) 의 간소화 버전. 평균을 빼지 않고 제곱평균제곱근(RMS) 으로만 정규화:

$y_{ij} = \frac{x_{ij}}{\sqrt{\tfrac{1}{D}\sum_j x_{ij}^2 + \epsilon}} \cdot \gamma_j$

• mean 계산 생략 → 더 빠름
• bias $\beta$ 도 보통 생략 (Llama 등 표준 구현)
• 실험적으로 LayerNorm 과 거의 같은 성능

LLaMA, T5 등 최신 LLM 의 기본 정규화 층.

과제

함수 rms_norm(x, gamma, eps) 를 완성하세요.

• x shape (N, D), gamma shape (D,).
• 반환: 같은 shape.
• 행별 RMS 계산 → 나누기 → γ 로 스케일.

테스트 케이스