Noam Schedule [medium]

v1 Linear warmup 은 warmup 이후 상수. Noam schedule (Vaswani et al. 2017, "Attention is All You Need") 은 warmup 뒤에 inverse square root decay:

$\eta_t = d_{\text{model}}^{-0.5} \cdot \min(t^{-0.5}, \ t \cdot t_w^{-1.5})$

• $t < t_w$: $\eta_t = d^{-0.5} \cdot t \cdot t_w^{-1.5}$ (선형 증가)
• $t \ge t_w$: $\eta_t = d^{-0.5} \cdot t^{-0.5}$ (inverse sqrt 감소)
• 정확히 $t = t_w$ 에서 두 branch 일치.

$d_{\text{model}}$ 은 모델 차원 (예: 512 for base Transformer). 이 스케일링은 $\sqrt{d}$ 항이 attention softmax 의 분산과 균형을 이루게 해줌.

Noam vs Cosine

원 Transformer 는 Noam 을 썼지만, 최근 (BERT/GPT) 은 대부분 Cosine + warmup.

과제

함수 noam_lr(t, warmup_steps, d_model) 를 완성하세요.

• t: 스칼라/배열, 1-indexed (t=1 이 첫 스텝).
• 반환: 같은 shape lr.
• t=0 이면 t=1 로 취급하거나 결과 0 (문제는 t ≥ 1 가정).
• 힌트: d_model**(-0.5) * min(t**(-0.5), t * warmup_steps**(-1.5)).

테스트 케이스