RMSProp 한 스텝

Momentum(72) 은 gradient 방향을 평활. RMSProp은 gradient의 크기(제곱) 를 평활해 차원별로 학습률을 자동 조절 합니다 — 스케일이 제각각인 특성에 강함.

업데이트 규칙 (Tieleman, 2012)

$s_t = \beta \, s_{t-1} + (1-\beta) \, g_t^2$ $w_t = w_{t-1} - \frac{\eta}{\sqrt{s_t} + \epsilon} \, g_t$

• $s$: running average of squared gradients (0 초기화)
• $\epsilon$: 보통 1e-8 (0 나누기 방지)
• 보통 $\beta = 0.9$

Adam 의 2차 모멘트 업데이트 ($v$) 와 동일한 공식 — RMSProp 은 Adam 의 직계 조상.

왜 유용한가

• gradient 크기가 큰 차원 → 작은 step (자동 축소)
• 작은 차원 → 큰 step (자동 확대)
• 즉, 정규화된 방향으로 이동

과제

함수 rmsprop_step(w, g, s, lr, beta, eps) 를 완성하세요.

• 반환: (w_new, s_new).
• s_new = β·s + (1-β)·g² 먼저 업데이트 → update w.

테스트 케이스

#	이름	검증
1	s 업데이트 정확	s_new = β·s + (1-β)·g²
2	w 업데이트 정확	수식 일치
3	eps 보호	g=0, s=0 에서 NaN 없음
4	shape 유지
5	누적 s → 스텝 축소	여러 반복 후 step 크기 감소