분류 기초·연습 문제

하이퍼볼릭 탄젠트 미분

문제 설명PROBLEM

preview

Tanh 미분

21번 sigmoid-v1 미분 과 짝을 이루는 활성함수 미분. 26번 tanh 의 도함수:

tanh(z)=1tanh2(z)=sech2(z)\tanh'(z) = 1 - \tanh^2(z) = \text{sech}^2(z)

출력값만으로 미분이 표현돼서 (sigmoid-v1와 동일 구조), 역전파가 깔끔.

비교

최댓값위치감쇠
σ'(z)0.25z = 0가볍게
tanh'(z)1.0z = 0더 가파름

tanh' 의 최댓값이 σ' 의 4배 — 같은 입력 범위에서 그래디언트가 더 크게 전달됩니다. 그래서 sigmoid-v1 보다 hidden layer 에 선호된 시절이 있었죠 (ReLU 이전).

성질

  • tanh'(0) = 1 — 최댓값
  • z|z| 가 커질수록 tanh' → 0 (vanishing gradient)
  • 짝함수: tanh'(-z) = tanh'(z)

과제

함수 tanh_prime(z) 를 완성하세요.

  • 스칼라 또는 배열.
  • np.tanh 사용 OK.
  • 반환: 1 - tanh²(z).

테스트 케이스

#이름입력기대
1tanh'(0) = 101.0
2큰 값 → 010< 1e-6
3대칭 (짝함수)tanh'(-z) = tanh'(z)성립
4벡터[-1, 0, 1][0.4200, 1.0, 0.4200]
5항상 (0, 1]다양한 z0 < out ≤ 1
개념 노트와 실수 포인트

분류

  • 이진=시그모이드, 다중=소프트맥스(출력 합=1).
  • 확률→레이블은 임계값(0.5) 또는 argmax.
  • 다중 분류 정답은 보통 원-핫.