MLP with Tanh

2-Layer MLP(84) 는 ReLU 를 썼죠. 이번엔 tanh 로 교체:

$\mathbf{h} = \tanh(X W_1 + \mathbf{b}_1)$ $\mathbf{y} = \mathbf{h} W_2 + \mathbf{b}_2$

Tanh vs ReLU

• tanh는 출력이 0 중심 → 다음 층에 친화적 (LayerNorm 없이도 괜찮음)
• 하지만 깊은 망에서는 포화로 gradient 사라짐 → ReLU가 주류

과제

함수 mlp_forward_tanh(X, W1, b1, W2, b2) 를 완성하세요.

• 은닉층 활성에 np.tanh 사용.

테스트 케이스