Bias-Corrected EWMA [medium]

v1 EWMA 은 $y_0 = x_0$ 초기화. Adam/RMSprop 옵티마이저는 $y_0 = 0$ 에서 시작 → 초기 steps 에서 y 가 0 에 편향됨 (under-estimate).

Adam 의 편향 보정

먼저 편향된 1차 moment:

$m_t = (1 - \alpha) \cdot m_{t-1} + \alpha \cdot x_t, \quad m_0 = 0$

그리고 보정:

$\hat{m}_t = \frac{m_t}{1 - (1 - \alpha)^t}$

• $t$ 작을 때: $(1-\alpha)^t \approx 1$ → 분모 작음 → 보정 확대.
• $t$ 큼: $(1-\alpha)^t \to 0$ → 분모 $\to 1$ → 보정 없음.

수학적으로 $\hat{m}_t$ 는 $\mathbb{E}[x_t]$ 의 unbiased estimator.

v1 과의 차이

	v1 EWMA	v3 bias-corrected
초기화	$y_0 = x_0$	$m_0 = 0$
첫 step 값	$x_0$	$x_0$ (같지만 경로 다름)
꼬리	동일	동일

중간 step 이 다름 → Adam 의 학습 초기 warmup 안정성 기여.

과제

함수 bias_corrected_ewma(x, alpha) 를 완성하세요.

• 반환: shape (N,) $\hat{m}_t$ 수열.
• 초기화 $m_0 = 0$, 그 다음 $m_t = (1-\alpha) m_{t-1} + \alpha x_t$ (t=1..N).
• 보정: $\hat{m}_t = m_t / (1 - (1-\alpha)^t)$.
• $t$ 는 1-indexed (첫 샘플이 $t=1$).

테스트 케이스

#	이름	검증
1	shape 유지
2	첫 step: $\hat{m}_1 = x_0$
3	상수 입력 → $\hat{m}_t = c$ 모두	수렴
4	$\alpha = 1$ → $\hat{m}_t = x_t$ 그대로
5	편향 보정 효과 검증 (v1 EWMA 대비 더 빠른 수렴)
6	수치 예제 (손계산)
7	long-run: $\hat{m}_t \to$ v1 EWMA (꼬리 수렴)