Ridge 회귀 (L2 정규화)

선형 회귀(4번) 는 정규방정식 $(X^\top X)^{-1} X^\top y$ 로 풉니다. 그런데 $X^\top X$ 가 거의 특이행렬이면(특성 간 높은 상관) 해가 폭발. Ridge 는 이 문제를 단순한 트릭으로 해결:

$w = (X^\top X + \lambda I)^{-1} X^\top y$

동일하게 쓰면 손실이 이렇게 바뀐 것:

$\mathcal{L}(w) = \|y - Xw\|^2 + \lambda \|w\|^2$

Why it works — 가중치가 커지는 걸 페널티로 막아, 노이즈에 과적합되지 않고 해가 안정화됩니다.

$\lambda$ 조정

• $\lambda = 0$ : 일반 최소제곱 (unregularized)
• $\lambda \to \infty$ : $w \to 0$ (과소적합)
• 사이 값: 실전에서 cross-validation 으로 탐색

과제

함수 fit_ridge(X, y, lam) 를 완성하세요.

• X shape (N, D), y shape (N,), lam 스칼라.
• 반환: w shape (D,).
• np.linalg.solve 사용 권장 (직접 inverse 말고).

테스트 케이스