Sigmoid Backward (VJP) [medium]

v1 시그모이드 미분 은 $\sigma'(z) = s(1 - s)$. 역전파에서 실제 필요한 건 chain rule 연결:

$\frac{\partial L}{\partial z} = \frac{\partial L}{\partial s} \cdot s (1 - s)$

여기서 $s = \sigma(z)$ 는 forward 에서 저장된 출력. 이 함수가 Vector-Jacobian Product (VJP) 의 한 단위 블록.

왜 s 를 저장?

• $s(1-s)$ 는 $z$ 로 재계산하지 않고 forward 에서 이미 계산된 결과 를 재활용.
• 메모리 ↔ 계산 트레이드오프: activation 을 저장해 backward 속도 향상.

입출력

• Input: dout (shape 임의), s 같은 shape.
• Output: dz 같은 shape, elementwise dout * s * (1 - s).

과제

함수 sigmoid_backward(dout, s) 를 완성하세요.

• dout: 상위 gradient.
• s: forward 에서 계산된 sigmoid 값.
• 반환: dout * s * (1 - s).

테스트 케이스

#	이름	검증
1	shape 유지
2	s=0.5 → dout * 0.25	최대 기울기
3	s=0 또는 1 → 0	포화
4	dout=0 → 전부 0
5	선형성: sigmoid_backward(ad, s) = asigmoid_backward(d, s)
6	2D input 처리
7	수치 미분과 일치 (스칼라)