L2 규제 로지스틱 회귀

15번 로지스틱 회귀 의 응용. 목적 함수에 L2 페널티 를 더해 가중치가 너무 커지지 않게 누릅니다:

$\mathcal{L} = \text{BCE}(\sigma(X\mathbf{w} + b), \mathbf{y}) \;+\; \frac{\lambda}{2} \|\mathbf{w}\|^2$

경사는 원래 그래디언트에 $\lambda \mathbf{w}$ 를 더한 형태:

$\nabla_{\mathbf{w}} = \frac{1}{N} X^\top (p - \mathbf{y}) + \lambda \mathbf{w}$

$\nabla_b = \frac{1}{N} \sum (p - \mathbf{y})$

편향 $b$ 는 보통 규제하지 않습니다 — 데이터 레벨을 조정하는 용도니까.

왜 L2?

• 과적합 방지 — 큰 가중치로 훈련 노이즈를 외우는 걸 막음.
• 공선 특성 안정화 — 비슷한 두 특성에 가중치를 극단적으로 나누는 대신 고르게 분산.
• λ = 0 이면 원본 로지스틱과 동일.
• λ 가 크면 w 가 0에 가까워짐 → underfit.

과제

함수 fit_l2(X, y, lr, n_steps, lam) -> (w, b) 를 완성하세요.

• X shape (N, D), y shape (N,) with {0, 1}.
• 초기값 w = 0, b = 0. for 루프 OK.
• 그래디언트에 L2 항 포함 (b 는 제외).

테스트 케이스

#	이름	검증
1	λ=0 → 원본과 동일	15번 스타일 수렴
2	shape	w (D,), b scalar
3	분리 가능 데이터 정확도 ≥ 0.9	L2 포함해도 충분히 수렴
4	λ 증가 → ‖w‖ 감소	큰 λ 가 가중치 크기 줄임
5	b 는 규제 안 됨	전체 클래스 offset 반영 가능