Nearest Shrunken Centroid [medium]

v1 Nearest Centroid 는 각 클래스 평균을 그대로 사용. 고차원 (e.g., 유전자 발현 데이터 $D > 1000$) 에서는 노이즈 특성의 편차도 그대로 반영 → overfitting.

Nearest Shrunken Centroid (Tibshirani et al. 2002): 전체 평균으로부터의 offset 을 soft-thresholding 으로 줄이거나 0 으로 → 유의미한 특성만 남김 (자동 특성 선택).

알고리즘

1. $\bar{x}$ = 전체 평균.
2. 각 클래스 $c$ 의 평균 $\mu_c$ 와 offset $d_c = \mu_c - \bar{x}$.
3. 풀링된 표준편차 $s$ (특성별): $s_j = \sqrt{\frac{\sum_c \sum_{i: y_i = c} (x_{ij} - \mu_{c,j})^2}{N - K}}$
4. 표준화 offset: $d'_{c,j} = d_{c,j} / (s_j + s_0)$ (small regularizer $s_0$).
5. Soft-threshold with $\Delta$: $d''_{c,j} = \text{sign}(d'_{c,j}) \cdot \max(|d'_{c,j}| - \Delta, 0)$
6. 축소된 중심: $\tilde\mu_{c,j} = \bar{x}_j + s_j \cdot d''_{c,j}$.
7. 예측: $x$ 와 $\tilde\mu_c$ 간 유클리드 거리 argmin.

$\Delta$ 효과

• $\Delta = 0$: v1 nearest centroid 와 동일.
• 큰 $\Delta$: 대부분 성분이 0 → 모든 클래스가 전체 평균에 수렴 → 구분 불가.
• 중간 $\Delta$: 판별력 있는 특성만 살림 → 노이즈 감쇠.

과제

함수 nearest_shrunken_centroid(X_train, y_train, X_test, delta) 를 완성하세요.

• 반환: (M,) 예측.
• 풀링 표준편차 + soft-threshold + 축소 중심 거리 최소화.
• $s_0 = 1 \cdot 10^{-8}$ (0 나눗셈 방지).

테스트 케이스