Token Embedding + Positional Encoding

Transformer 입력 = 토큰 임베딩 + 위치 인코딩. embedding-lookup-v1, positional-encoding-sinusoidal-v1 두 조각을 합치는 과정.

$X_{b,l,:} = E[\text{idx}_{b,l}] + \text{PE}[l]$

• E: 토큰 임베딩 테이블 (V, d).
• idx_batch: (B, L) 정수.
• pe: (max_L, d) 사전계산된 PE (max_L ≥ L).

배치 축 B 에서 PE 는 broadcasting — 같은 PE 를 모든 배치에 더함.

과제

함수 add_positional_encoding(E, idx_batch, pe) 를 완성하세요.

• shape: E (V, d), idx_batch (B, L), pe (max_L, d).
• 반환: (B, L, d).
• 구현: E[idx_batch] + pe[np.newaxis, :L, :] (또는 broadcasting 으로 pe[:L]).

테스트 케이스