
선형층(82) + ReLU(27) 를 쌓으면 가장 단순한 신경망. 은닉층 하나 짜리 MLP 로 비선형 분류/회귀 가능:
(D_in, H), : (H,) — 첫 층(H, D_out), : (D_out,) — 출력층Universal approximation: 충분히 큰 H 면 MLP는 연속함수 어느 것이든 근사 가능.
함수 mlp_forward(X, W1, b1, W2, b2) 를 완성하세요.
(N, D_out).| # | 이름 | 검증 |
|---|---|---|
| 1 | shape (N, D_out) | |
| 2 | W1=0, b1=0 → h=0 → y=b2 | |
| 3 | 양수 은닉값만 통과 (ReLU) | 입력에 대한 gradient 관계 |
| 4 | 알려진 toy 값 | |
| 5 | 비선형성 | f(αx) ≠ α·f(x) in general |
코드를 작성하고 Run 을 눌러보세요.