← 문제 목록/선형층 Backward (그래디언트)
문제 해설

선형층 Backward (그래디언트)

신경망 · easy

preview

선형층 Backward

선형층 Forward(82) 의 역전파. 상위 gradient dY 가 주어지면, 파라미터와 입력에 대한 그래디언트를 계산:

Y=XW+b,LY=dYY = X W + \mathbf{b}, \quad \frac{\partial L}{\partial Y} = dY

연쇄법칙:

dX=dYW,dW=XdY,db=idYidX = dY \, W^\top, \quad dW = X^\top \, dY, \quad d\mathbf{b} = \sum_i dY_i

Shape 체크:

  • dY: (N, D_out)
  • dX: (N, D_in)dY @ W.T
  • dW: (D_in, D_out)X.T @ dY
  • db: (D_out,)dY.sum(axis=0)

과제

함수 linear_backward(dY, X, W) 를 완성하세요.

  • 반환: (dX, dW, db).

테스트 케이스

#이름검증
1dX shape(N, D_in)
2dW shape(D_in, D_out)
3db shape(D_out,)
4dX = dY @ W.T
5dW = X.T @ dY
6db = dY.sum(axis=0)
코드 작성
Loading...
실행 결과

코드를 작성하고 Run 을 눌러보세요.