ML Playground

PyTorch 이전의 고전 ML 기법을 문제 풀이로 배워봅시다. Python 코드를 직접 실행하고 테스트로 채점합니다.

⌕

0 / 300 완료 · 0%

#001
유클리드 거리 계산
NumPy 기초
NumPy 기초
LEVEL 1
#002
제곱 유클리드 거리
NumPy 기초
NumPy 기초
LEVEL 1
#003
Pairwise Euclidean (행렬 분해 트릭) [medium]
선형대수
선형대수
LEVEL 2
#004
내적 (Dot Product)
NumPy 기초
NumPy 기초
LEVEL 1
#005
배치 내적
NumPy 기초
NumPy 기초
LEVEL 1
#006
Bilinear Form x^T A y [medium]
선형대수
선형대수
LEVEL 2
#007
평균 제곱 오차 (MSE)
손실 함수
손실 함수
LEVEL 1
#008
제곱근 평균 제곱 오차 (RMSE)
손실 함수
손실 함수
LEVEL 1
#009
Weighted Multi-output MSE [medium]
손실 함수
손실 함수
LEVEL 2
#010
1D 선형 회귀 (정규방정식)
회귀
회귀
LEVEL 2
#011
절편 없는 선형 회귀
회귀
회귀
LEVEL 1
#012
Weighted 1D Linear Regression [medium]
회귀
회귀
LEVEL 2
#013
경사하강법 (1D)
최적화
최적화
LEVEL 2
#014
Momentum 경사하강법
최적화
최적화
LEVEL 1
#015
Generic GD + Numerical Gradient [medium]
최적화
최적화
LEVEL 2
#016
시그모이드 함수
분류 기초
분류 기초
LEVEL 1
#017
수치 안정 시그모이드
분류 기초
분류 기초
LEVEL 1
#018
Numerically Stable log-sigmoid [medium]
활성 함수
활성 함수
LEVEL 2
#019
소프트맥스 함수
분류 기초
분류 기초
LEVEL 1
#020
2D 소프트맥스 (axis 지정)
분류 기초
분류 기초
LEVEL 1
#021
Softmax Jacobian [medium]
역전파
역전파
LEVEL 2
#022
쌍별 거리 행렬 (Pairwise Distances)
NumPy 기초
NumPy 기초
LEVEL 1
#023
체비셰프 거리 행렬 (L∞)
NumPy 기초
NumPy 기초
LEVEL 1
#024
K-Nearest Neighbors Search [medium]
거리/유사도
거리/유사도
LEVEL 2
#025
특성 표준화 (Z-score)
데이터 전처리
데이터 전처리
LEVEL 1
#026
Robust 표준화 (median / IQR)
데이터 전처리
데이터 전처리
LEVEL 1
#027
Fit-Transform Standardization (leakage-free) [medium]
전처리
전처리
LEVEL 2
#028
원-핫 인코딩
데이터 전처리
데이터 전처리
LEVEL 1
#029
레이블 스무딩 (Label Smoothing)
데이터 전처리
데이터 전처리
LEVEL 1
#030
Label Smoothing (smoothed one-hot) [medium]
전처리
전처리
LEVEL 2
#031
이진 교차 엔트로피 (BCE)
손실 함수
손실 함수
LEVEL 1
#032
BCE with Logits (수치 안정)
손실 함수
손실 함수
LEVEL 1
#033
Weighted BCE with pos_weight [medium]
손실 함수
손실 함수
LEVEL 2
#034
힌지 손실 (Hinge Loss)
손실 함수
손실 함수
LEVEL 1
#035
제곱 힌지 손실 (Squared Hinge)
손실 함수
손실 함수
LEVEL 1
#036
Multi-class Hinge Loss (Weston-Watkins) [medium]
손실 함수
손실 함수
LEVEL 2
#037
코사인 유사도
NumPy 기초
NumPy 기초
LEVEL 1
#038
코사인 거리 (1 - cos)
NumPy 기초
NumPy 기초
LEVEL 1
#039
Angular Distance (proper metric) [medium]
거리/유사도
거리/유사도
LEVEL 2
#040
정확도 (Accuracy)
평가 지표
평가 지표
LEVEL 1
#041
Top-k 정확도
평가 지표
평가 지표
LEVEL 1
#042
Balanced Accuracy (macro recall) [medium]
평가지표
평가지표
LEVEL 2
#043
로지스틱 회귀 (경사하강법)
분류
분류
LEVEL 1
#044
L2 규제 로지스틱 회귀
분류
분류
LEVEL 1
#045
L2-regularized Logistic Regression [medium]
분류
분류
LEVEL 2
#046
K-최근접 이웃 (KNN)
분류
분류
LEVEL 1
#047
K-최근접 이웃 회귀
회귀
회귀
LEVEL 1
#048
Distance-weighted KNN Classifier [medium]
분류
분류
LEVEL 2
#049
Min-Max 스케일링
데이터 전처리
데이터 전처리
LEVEL 1
#050
Max-Abs 스케일링
데이터 전처리
데이터 전처리
LEVEL 1
#051
Robust Quantile Scaler (percentile 기반) [medium]
전처리
전처리
LEVEL 2
#052
코사인 유사도 행렬 (배치)
NumPy 기초
NumPy 기초
LEVEL 1
#053
Top-k 코사인 이웃 검색
NumPy 기초
NumPy 기초
LEVEL 1
#054
Top-k Cosine Retrieval [medium]
검색
검색
LEVEL 2
#055
맨해튼 거리 행렬
NumPy 기초
NumPy 기초
LEVEL 1
#056
민코프스키 거리 행렬 (Lp)
NumPy 기초
NumPy 기초
LEVEL 1
#057
Minkowski Distance Matrix (L_p 통합) [medium]
거리/유사도
거리/유사도
LEVEL 2
#058
평균 절대 오차 (MAE)
손실 함수
손실 함수
LEVEL 1
#059
평균 절대 비율 오차 (MAPE)
손실 함수
손실 함수
LEVEL 1
#060
Quantile (Pinball) Loss [medium]
손실 함수
손실 함수
LEVEL 2
#061
시그모이드 미분
분류 기초
분류 기초
LEVEL 1
#062
하이퍼볼릭 탄젠트 미분
분류 기초
분류 기초
LEVEL 1
#063
Sigmoid Backward (VJP chain rule) [medium]
역전파
역전파
LEVEL 2
#064
결정계수 (R²)
평가 지표
평가 지표
LEVEL 1
#065
조정된 결정계수 (Adjusted R²)
평가 지표
평가 지표
LEVEL 1
#066
Multi-output R² (sklearn multioutput) [medium]
평가 지표
평가 지표
LEVEL 2
#067
Huber 손실
손실 함수
손실 함수
LEVEL 1
#068
Log-Cosh 손실
손실 함수
손실 함수
LEVEL 1
#069
Huber Loss + Gradient (forward/backward) [medium]
손실 함수
손실 함수
LEVEL 2
#070
혼동 행렬 (Confusion Matrix)
평가 지표
평가 지표
LEVEL 1
#071
정규화된 혼동 행렬 (행 기준)
평가 지표
평가 지표
LEVEL 1
#072
Precision / Recall / F1 from Confusion Matrix [medium]
평가 지표
평가 지표
LEVEL 2
#073
정밀도 & 재현율
평가 지표
평가 지표
LEVEL 1
#074
민감도 & 특이도
평가 지표
평가 지표
LEVEL 1
#075
PR Curve + Average Precision [medium]
평가 지표
평가 지표
LEVEL 2
#076
하이퍼볼릭 탄젠트 (tanh)
분류 기초
분류 기초
LEVEL 1
#077
Hard Tanh
분류 기초
분류 기초
LEVEL 1
#078
Numerically Stable Tanh [medium]
활성화 함수
활성화 함수
LEVEL 2
#079
ReLU 활성화
분류 기초
분류 기초
LEVEL 1
#080
Leaky ReLU
분류 기초
분류 기초
LEVEL 1
#081
ELU: Exponential Linear Unit + 미분 [medium]
활성화 함수
활성화 함수
LEVEL 2
#082
학습/테스트 분할
데이터 전처리
데이터 전처리
LEVEL 1
#083
Train/Val/Test 3-way 분할
데이터 전처리
데이터 전처리
LEVEL 1
#084
Stratified Train-Test Split [medium]
데이터 분할
데이터 분할
LEVEL 2
#085
F1 점수
평가 지표
평가 지표
LEVEL 1
#086
F-beta 점수
평가 지표
평가 지표
LEVEL 1
#087
F-beta Score + Optimal Threshold [medium]
평가 지표
평가 지표
LEVEL 2
#088
K-means 클러스터링
클러스터링
클러스터링
LEVEL 1
#089
K-means++ 초기화
클러스터링
클러스터링
LEVEL 1
#090
K-means++ Initialization + Inertia [medium]
클러스터링
클러스터링
LEVEL 2
#091
K-means 관성 (Inertia)
클러스터링
클러스터링
LEVEL 1
#092
실루엣 점수 (Silhouette)
클러스터링
클러스터링
LEVEL 1
#093
Silhouette Score (클러스터링 품질) [medium]
클러스터링
클러스터링
LEVEL 2
#094
PCA — 1차원 주성분
차원축소
차원축소
LEVEL 1
#095
PCA — k개 주성분
차원축소
차원축소
LEVEL 1
#096
K-dim PCA + Explained Variance Ratio [medium]
차원 축소
차원 축소
LEVEL 2
#097
설명 분산 비율 (PCA)
차원축소
차원축소
LEVEL 1
#098
누적 설명 분산 비율
차원축소
차원축소
LEVEL 1
#099
자동 k 선택 (Variance Threshold) [medium]
차원 축소
차원 축소
LEVEL 2
#100
공분산 행렬
NumPy 기초
NumPy 기초
LEVEL 1
#101
상관 행렬 (Correlation Matrix)
NumPy 기초
NumPy 기초
LEVEL 1
#102
Mahalanobis Distance (공분산 기반) [medium]
통계
통계
LEVEL 2
#103
상관계수 행렬
NumPy 기초
NumPy 기초
LEVEL 1
#104
피어슨 상관계수
NumPy 기초
NumPy 기초
LEVEL 1
#105
Spearman 순위 상관 (Rank Correlation) [medium]
통계
통계
LEVEL 2
#106
섀넌 엔트로피
정보이론
정보이론
LEVEL 1
#107
KL 발산 (Kullback-Leibler Divergence)
정보이론
정보이론
LEVEL 1
#108
KL Divergence (분포 간 거리) [medium]
정보이론
정보이론
LEVEL 2
#109
교차 엔트로피 (분포 간)
정보이론
정보이론
LEVEL 1
#110
Jensen-Shannon 발산
정보이론
정보이론
LEVEL 1
#111
Softmax Cross-Entropy with Logits (stable) [medium]
손실 함수
손실 함수
LEVEL 2
#112
Gini 불순도
정보이론
정보이론
LEVEL 1
#113
분할의 가중 Gini
정보이론
정보이론
LEVEL 1
#114
Best Gini Split (CART 분기점 찾기) [medium]
결정트리
결정트리
LEVEL 2
#115
KL 발산
정보이론
정보이론
LEVEL 1
#116
KL 발산 — Gaussian 간 (closed-form)
정보이론
정보이론
LEVEL 1
#117
Jensen-Shannon Divergence (대칭 KL) [medium]
정보이론
정보이론
LEVEL 2
#118
베이즈 정리
확률
확률
LEVEL 1
#119
연속적인 베이즈 업데이트
확률
확률
LEVEL 1
#120
Sequential Bayesian Update (log-space) [medium]
확률
확률
LEVEL 2
#121
가우시안 확률밀도함수
확률
확률
LEVEL 1
#122
로그 가우시안 PDF
확률
확률
LEVEL 1
#123
다변량 가우시안 PDF (log-space stable) [medium]
확률
확률
LEVEL 2
#124
퍼셉트론 (Perceptron)
분류
분류
LEVEL 1
#125
평균 퍼셉트론
분류
분류
LEVEL 1
#126
Averaged Perceptron (노이즈 강건) [medium]
선형 분류
선형 분류
LEVEL 2
#127
체비쇼프 거리 (L∞)
NumPy 기초
NumPy 기초
LEVEL 1
#128
해밍 거리 행렬 (정규화)
NumPy 기초
NumPy 기초
LEVEL 1
#129
Chunked Chebyshev (메모리 효율) [medium]
거리 계산
거리 계산
LEVEL 2
#130
Ridge 회귀 (L2 정규화)
회귀
회귀
LEVEL 1
#131
Ridge 회귀 + 절편 분리
회귀
회귀
LEVEL 1
#132
LASSO (L1) 좌표하강법 [medium]
회귀
회귀
LEVEL 2
#133
다변수 선형 회귀
회귀
회귀
LEVEL 1
#134
가중 최소제곱 (WLS)
회귀
회귀
LEVEL 1
#135
SVD-based Least Squares (rank-deficient) [medium]
회귀
회귀
LEVEL 2
#136
다항 특성 (1D)
데이터 전처리
데이터 전처리
LEVEL 1
#137
2D 다항 특성 (교차항 포함)
데이터 전처리
데이터 전처리
LEVEL 1
#138
Multivariate Polynomial Features [medium]
특성 공학
특성 공학
LEVEL 2
#139
KNN 회귀
회귀
회귀
LEVEL 1
#140
거리 가중 KNN 회귀
회귀
회귀
LEVEL 1
#141
Distance-weighted KNN Regressor [medium]
회귀
회귀
LEVEL 2
#142
K-fold 교차검증 분할
데이터 전처리
데이터 전처리
LEVEL 1
#143
층화 K-fold 교차검증 분할
데이터 전처리
데이터 전처리
LEVEL 1
#144
Stratified K-Fold (클래스 비율 보존) [medium]
교차검증
교차검증
LEVEL 2
#145
셔플 분할 CV
데이터 전처리
데이터 전처리
LEVEL 1
#146
부트스트랩 OOB 분할
데이터 전처리
데이터 전처리
LEVEL 1
#147
Bootstrap CV (OOB 검증) [medium]
교차검증
교차검증
LEVEL 2
#148
Softmax 교차엔트로피 손실
손실 함수
손실 함수
LEVEL 1
#149
Softmax CE 그래디언트
손실 함수
손실 함수
LEVEL 1
#150
Softmax-CE Loss + Gradient (fused backward) [medium]
손실 함수
손실 함수
LEVEL 2
#151
Focal Loss
손실 함수
손실 함수
LEVEL 1
#152
클래스 가중 Focal Loss
손실 함수
손실 함수
LEVEL 1
#153
Binary α-balanced Focal Loss [medium]
손실 함수
손실 함수
LEVEL 2
#154
결정 그루터기 (Decision Stump)
분류
분류
LEVEL 1
#155
가중 결정 그루터기 (Weighted Stump)
앙상블
앙상블
LEVEL 1
#156
Regression Stump (SSE 최소화) [medium]
결정트리
결정트리
LEVEL 2
#157
가중치 Decision Stump
분류
분류
LEVEL 1
#158
AdaBoost 한 라운드 (α, w 업데이트)
앙상블
앙상블
LEVEL 1
#159
AdaBoost (weighted stump 조립) [medium]
앙상블
앙상블
LEVEL 2
#160
다수결 앙상블
분류
분류
LEVEL 1
#161
소프트 보팅 (확률 평균 앙상블)
앙상블
앙상블
LEVEL 1
#162
Soft Voting (확률 가중 앙상블) [medium]
앙상블
앙상블
LEVEL 2
#163
소프트 보팅 앙상블
분류
분류
LEVEL 1
#164
Product of Experts (기하 평균 앙상블)
앙상블
앙상블
LEVEL 1
#165
Geometric Mean Voting (product-of-experts) [medium]
앙상블
앙상블
LEVEL 2
#166
부트스트랩 샘플링
데이터 전처리
데이터 전처리
LEVEL 1
#167
Out-of-Bag 인덱스
앙상블
앙상블
LEVEL 1
#168
Bootstrap Confidence Interval [medium]
통계
통계
LEVEL 2
#169
OOB 마스크
데이터 전처리
데이터 전처리
LEVEL 1
#170
Bagging OOB 예측 집계
앙상블
앙상블
LEVEL 1
#171
OOB Ensemble Prediction (bagging 평균) [medium]
앙상블
앙상블
LEVEL 2
#172
Nearest Centroid 분류기
분류
분류
LEVEL 1
#173
로버스트 Nearest Centroid (median)
분류
분류
LEVEL 1
#174
Nearest Shrunken Centroid (자동 특성 선택) [medium]
선형 분류
선형 분류
LEVEL 2
#175
Nearest Centroid (맨해튼)
분류
분류
LEVEL 1
#176
Cosine Nearest Centroid (Rocchio)
분류
분류
LEVEL 1
#177
Median Centroid (L1 최소화) [medium]
선형 분류
선형 분류
LEVEL 2
#178
외적 (Outer Product)
NumPy 기초
NumPy 기초
LEVEL 1
#179
배치 외적 (Batched Outer Product)
선형대수
선형대수
LEVEL 1
#180
Batched Outer Sum (선형층 weight gradient) [medium]
선형대수
선형대수
LEVEL 2
#181
배치 외적
NumPy 기초
NumPy 기초
LEVEL 1
#182
외적 합 (Sum of Outer Products)
선형대수
선형대수
LEVEL 1
#183
Scaled Dot-Product Attention Scores [medium]
선형대수
선형대수
LEVEL 2
#184
그램 행렬 (Gram Matrix)
NumPy 기초
NumPy 기초
LEVEL 1
#185
코사인 유사도 행렬 (정규화 Gram)
선형대수
선형대수
LEVEL 1
#186
RBF Kernel Matrix (kernel trick) [medium]
커널 방법
커널 방법
LEVEL 2
#187
RBF 커널 행렬
분류
분류
LEVEL 1
#188
다항식 커널 (Polynomial Kernel)
커널
커널
LEVEL 1
#189
Kernel Ridge Regression (RBF 비선형 회귀) [medium]
커널 방법
커널 방법
LEVEL 2
#190
Frobenius 노름
NumPy 기초
NumPy 기초
LEVEL 1
#191
Nuclear Norm (특이값 합)
선형대수
선형대수
LEVEL 1
#192
Low-rank Approximation (Eckart-Young) [medium]
선형대수
선형대수
LEVEL 2
#193
엔트리별 L1 노름
NumPy 기초
NumPy 기초
LEVEL 1
#194
엔트리별 L∞ 노름 (max-abs)
선형대수
선형대수
LEVEL 1
#195
Nuclear Norm + Singular Value Thresholding [medium]
선형대수
선형대수
LEVEL 2
#196
Soft Thresholding (L1 prox)
최적화
최적화
LEVEL 1
#197
Hard Thresholding (L0 sparsity)
최적화
최적화
LEVEL 1
#198
ISTA (Iterative Shrinkage-Thresholding) [medium]
최적화
최적화
LEVEL 2
#199
Hard Thresholding
최적화
최적화
LEVEL 1
#200
Top-k Sparsity Projection
최적화
최적화
LEVEL 1
#201
Top-K Hard Thresholding (정확한 k-sparsity) [medium]
최적화
최적화
LEVEL 2
#202
Norm 기반 클리핑
최적화
최적화
LEVEL 1
#203
엔트리별 Clipping (clip_by_value)
최적화
최적화
LEVEL 1
#204
Global Gradient Clipping (여러 텐서) [medium]
최적화
최적화
LEVEL 2
#205
Value 기반 클리핑
최적화
최적화
LEVEL 1
#206
균일 양자화 (Uniform Quantization)
최적화
최적화
LEVEL 1
#207
Winsorization (quantile clipping) [medium]
전처리
전처리
LEVEL 2
#208
지수 이동평균 (EWMA)
최적화
최적화
LEVEL 1
#209
Bias-corrected EWMA (Adam)
최적화
최적화
LEVEL 1
#210
Bias-Corrected EWMA (Adam 스타일) [medium]
최적화
최적화
LEVEL 2
#211
Bias-Corrected EWMA (Adam 스타일)
최적화
최적화
LEVEL 1
#212
Adam 옵티마이저 한 스텝
최적화
최적화
LEVEL 1
#213
Adam Optimizer Full Step [medium]
최적화
최적화
LEVEL 2
#214
SGD + Momentum 한 스텝
최적화
최적화
LEVEL 1
#215
Nesterov 가속 경사하강 한 스텝
최적화
최적화
LEVEL 1
#216
Nesterov Accelerated Gradient (NAG) [medium]
최적화
최적화
LEVEL 2
#217
RMSProp 한 스텝
최적화
최적화
LEVEL 1
#218
AdaGrad 옵티마이저 한 스텝
최적화
최적화
LEVEL 1
#219
AdaGrad Step (decay 없는 누적) [medium]
최적화
최적화
LEVEL 2
#220
Adam 한 스텝
최적화
최적화
LEVEL 1
#221
AdamW 한 스텝 (decoupled weight decay)
최적화
최적화
LEVEL 1
#222
AdamW (decoupled weight decay) [medium]
최적화
최적화
LEVEL 2
#223
AdamW 한 스텝
최적화
최적화
LEVEL 1
#224
Cosine Learning Rate Schedule
최적화
최적화
LEVEL 1
#225
AMSGrad (수렴 보장 변형) [medium]
최적화
최적화
LEVEL 2
#226
Cosine Learning Rate Schedule
최적화
최적화
LEVEL 1
#227
Warmup + Cosine LR Schedule
최적화
최적화
LEVEL 1
#228
Warmup + Cosine LR Schedule [medium]
학습률 스케줄
학습률 스케줄
LEVEL 2
#229
Linear Warmup
최적화
최적화
LEVEL 1
#230
Inverse Square Root LR Schedule
최적화
최적화
LEVEL 1
#231
Noam Schedule (Transformer inverse-sqrt) [medium]
학습률 스케줄
학습률 스케줄
LEVEL 2
#232
Dropout (Inverted)
최적화
최적화
LEVEL 1
#233
Spatial Dropout (채널 drop)
정규화
정규화
LEVEL 1
#234
Spatial Dropout 2D (채널 단위) [medium]
정규화
정규화
LEVEL 2
#235
Column Dropout (Feature Drop)
최적화
최적화
LEVEL 1
#236
DropConnect (weight drop)
정규화
정규화
LEVEL 1
#237
DropPath (Stochastic Depth) [medium]
정규화
정규화
LEVEL 2
#238
Layer Normalization (Forward)
최적화
최적화
LEVEL 1
#239
Batch Normalization (training forward)
정규화
정규화
LEVEL 1
#240
RMSNorm (LLaMA 방식) [medium]
정규화
정규화
LEVEL 2
#241
RMSNorm
최적화
최적화
LEVEL 1
#242
Group Normalization
정규화
정규화
LEVEL 1
#243
Group Normalization [medium]
정규화
정규화
LEVEL 2
#244
선형층 Forward (y = Wx + b)
신경망
신경망
LEVEL 1
#245
LoRA Forward (Low-Rank Adaptation)
파인튜닝
파인튜닝
LEVEL 1
#246
Linear Layer Backward (VJP) [medium]
역전파
역전파
LEVEL 2
#247
선형층 Backward (그래디언트)
신경망
신경망
LEVEL 1
#248
MSE Loss Backward
역전파
역전파
LEVEL 1
#249
2-Layer MLP Forward/Backward [medium]
역전파
역전파
LEVEL 2
#250
2-Layer MLP Forward
신경망
신경망
LEVEL 1
#251
Residual 2-layer MLP (ResNet 블록)
신경망
신경망
LEVEL 1
#252
Residual MLP Block (ResNet 블록) [medium]
신경망
신경망
LEVEL 2
#253
2-Layer MLP (tanh 활성)
신경망
신경망
LEVEL 1
#254
MLP with GELU (BERT/GPT 스타일)
신경망
신경망
LEVEL 1
#255
Tanh MLP Backward Pass (역전파) [medium]
신경망
신경망
LEVEL 2
#256
He Initialization
신경망
신경망
LEVEL 1
#257
He Uniform Initialization
신경망
신경망
LEVEL 1
#258
Orthogonal Initialization (직교 초기화) [medium]
신경망
신경망
LEVEL 2
#259
Xavier (Glorot) Initialization
신경망
신경망
LEVEL 1
#260
Orthogonal Initialization
신경망
신경망
LEVEL 1
#261
Xavier Uniform + Gain (PyTorch-style) [medium]
신경망
신경망
LEVEL 2
#262
임베딩 조회
신경망
신경망
LEVEL 1
#263
Embedding Backward (scatter-add)
역전파
역전파
LEVEL 1
#264
EmbeddingBag (padding + aggregation) [medium]
신경망
신경망
LEVEL 2
#265
Bag of Embeddings (평균)
신경망
신경망
LEVEL 1
#266
Masked Bag of Embeddings
NLP
NLP
LEVEL 1
#267
SIF Weighted Bag (Arora et al. 2017) [medium]
신경망
신경망
LEVEL 2
#268
Softmax — 온도(temperature) 조절
신경망
신경망
LEVEL 1
#269
Top-k Softmax (LLM 샘플링)
생성
생성
LEVEL 1
#270
Nucleus (Top-p) Sampling + Temperature [medium]
신경망
신경망
LEVEL 2
#271
log-softmax (수치 안정)
신경망
신경망
LEVEL 1
#272
NLL Loss (Negative Log-Likelihood)
손실 함수
손실 함수
LEVEL 1
#273
Log-Softmax Backward (역전파) [medium]
신경망
신경망
LEVEL 2
#274
Causal Mask (autoregressive)
신경망
신경망
LEVEL 1
#275
Sliding Window Causal Mask
어텐션
어텐션
LEVEL 1
#276
Sliding Window Causal Mask (Longformer/Mistral) [medium]
신경망
신경망
LEVEL 2
#277
Padding Mask (가변 길이)
신경망
신경망
LEVEL 1
#278
Causal + Padding 결합 어텐션 마스크
어텐션
어텐션
LEVEL 1
#279
Combined Causal + Padding Mask (B, L, L) [medium]
신경망
신경망
LEVEL 2
#280
Sinusoidal Positional Encoding
신경망
신경망
LEVEL 1
#281
Rotary Positional Embedding (RoPE)
어텐션
어텐션
LEVEL 1
#282
RoPE (Rotary Position Embedding) [medium]
신경망
신경망
LEVEL 2
#283
Token Embedding + PE (더하기)
신경망
신경망
LEVEL 1
#284
Scaled Embedding + PE (√d 스케일)
어텐션
어텐션
LEVEL 1
#285
BERT-style Input Embedding (token+segment+pos+LN) [medium]
신경망
신경망
LEVEL 2
#286
GELU 활성화
신경망
신경망
LEVEL 1
#287
SwiGLU (LLaMA FFN)
신경망
신경망
LEVEL 1
#288
SwiGLU Activation (LLaMA FFN) [medium]
신경망
신경망
LEVEL 2
#289
SiLU / Swish 활성화
신경망
신경망
LEVEL 1
#290
Mish 활성함수
신경망
신경망
LEVEL 1
#291
Mish Activation [medium]
신경망
신경망
LEVEL 2
#292
Masked Mean Pooling
신경망
신경망
LEVEL 1
#293
Weighted Mean Pool (attention pool 기본)
NLP
NLP
LEVEL 1
#294
Attention Pooling (learnable query) [medium]
신경망
신경망
LEVEL 2
#295
Masked Max Pooling
신경망
신경망
LEVEL 1
#296
Last-Token Pool (GPT 스타일)
NLP
NLP
LEVEL 1
#297
GeM Pooling (Generalized Mean) [medium]
신경망
신경망
LEVEL 2
#298
Scaled Dot-Product Attention 🎯
신경망
신경망
LEVEL 1
#299
Multi-Head Attention (200번째 - 최종)
어텐션
어텐션
LEVEL 1
#300
Multi-Head Attention (Transformer 핵심) [medium]
신경망
신경망
LEVEL 2