Mish Activation [medium]

v1 SiLU 가 $x \cdot \sigma(x)$ 라면, Mish (Misra 2019) 는 tanh ∘ softplus 를 곱:

$\text{Mish}(x) = x \cdot \tanh(\text{softplus}(x)) = x \cdot \tanh(\ln(1 + e^x))$

왜 또 다른 활성화

• Smooth + non-monotonic: SiLU 와 비슷하지만 약간 더 부드러운 곡선.
• YOLOv4 가 SiLU 대신 Mish 로 교체해 정확도 향상.
• SiLU/GELU/Mish 가 CNN/Transformer 에서 거의 교환 가능 (벤치별로 약간 차이).

수치 안정성

exp(x) 가 큰 양수에서 오버플로 → stable softplus: $\text{softplus}(x) = \max(x, 0) + \ln(1 + e^{-|x|})$

과제

함수 mish(x) 를 완성하세요.

• 입력: shape 임의.
• 반환: 동일 shape.
• x=1000 같은 큰 값도 inf/nan 없이 처리.

테스트 케이스