Tanh MLP Backward Pass [medium]

v1 Tanh MLP 의 forward 가 아래라면:

$h = \tanh(X W_1 + b_1), \quad y = h W_2 + b_2$

이번엔 역전파: upstream gradient $\frac{\partial L}{\partial y}$ 가 주어질 때 모든 파라미터·입력 gradient 를 구합니다.

핵심 공식

$\tanh'(z) = 1 - \tanh^2(z)$ 를 이용해 chain rule:

• $\frac{\partial L}{\partial W_2} = h^T \cdot \frac{\partial L}{\partial y}$
• $\frac{\partial L}{\partial b_2} = \sum_n \frac{\partial L}{\partial y_n}$
• $\frac{\partial L}{\partial h} = \frac{\partial L}{\partial y} W_2^T$
• $\frac{\partial L}{\partial z_1} = \frac{\partial L}{\partial h} \odot (1 - h^2)$
• $\frac{\partial L}{\partial W_1} = X^T \cdot \frac{\partial L}{\partial z_1}$
• $\frac{\partial L}{\partial b_1} = \sum_n \frac{\partial L}{\partial z_1, n}$
• $\frac{\partial L}{\partial X} = \frac{\partial L}{\partial z_1} W_1^T$

과제

함수 mlp_backward_tanh(X, W1, b1, W2, b2, dy) 를 완성하세요.

• 반환: (dX, dW1, db1, dW2, db2) 튜플.
• 각 gradient shape = 대응 parameter shape.

테스트 케이스