Leaky ReLU

27번 ReLU 의 응용. ReLU 의 치명적 약점인 "dying ReLU" 를 완화합니다 — 음수 입력에서 0 대신 작은 기울기 α 를 흘려보냅니다:

$\text{leaky\_relu}(z) = \begin{cases} z & z \geq 0 \\ \alpha z & z < 0 \end{cases}$

보통 α = 0.01 또는 0.1.

왜?

ReLU 는 음수 입력 영역에서 미분이 0 — 한 번 죽은 뉴런은 학습이 멈춤. 큰 학습률·불운한 초기화 시 다수 뉴런이 죽어버릴 수 있죠. Leaky ReLU 는 음수 쪽에도 작은 기울기를 남겨 그래디언트 흐름을 유지. GAN·RL 등 안정적 학습이 중요한 곳에 자주 사용.

α = 0 이면 원본 ReLU 와 동일.

과제

함수 leaky_relu(z, alpha) 를 완성하세요.

• 스칼라 또는 배열.
• np.where(z >= 0, z, alpha * z) 한 줄.

테스트 케이스