Kernel Ridge Regression [medium]

v1 RBF kernel 자체는 유사도 행렬. 이를 Ridge 회귀 에 결합 → 비선형 회귀를 닫힌 해 로 풀 수 있음 (커널 트릭).

알고리즘

1. $K \in \mathbb{R}^{N \times N}$: 훈련 커널 행렬 $K_{ij} = \exp(-\gamma \|x_i - x_j\|^2)$.

2. Ridge 해: $\alpha = (K + \lambda I)^{-1} y$

3. 테스트 예측: $\hat{y}(x_*) = \sum_i \alpha_i \, K(x_*, x_i) = K_{*}\, \alpha$

   여기서 $K_* \in \mathbb{R}^{M \times N}$ 은 테스트-훈련 kernel matrix.

왜 강력한가

• 특성 엔지니어링 없이 RBF 가 임의 비선형 회귀를 fit.
• Closed-form → GD 불필요.
• $\lambda$ 로 과적합 제어.

한계

• $O(N^3)$ 의 역행렬 → 큰 $N$ 에서 느림.
• $O(N^2)$ 메모리.
• 하지만 이 과제는 교육 목적, 소규모 데이터 가정.

과제

함수 kernel_ridge_fit_predict(X_train, y_train, X_test, gamma, lam) 를 완성하세요.

• X_train (N, D), y_train (N,), X_test (M, D).
• 반환: (M,) 예측값.
• np.linalg.solve(K + λI, y) 권장.

테스트 케이스