트랜스포머 아키텍처

임베딩·어텐션·정규화·인코더와 디코더를 거쳐 대표 트랜스포머 아키텍처를 연결한 고급 과정이다.

대상: 트랜스포머 블록과 대표 언어 모델 계열을 구조 수준에서 이해하려는 학습자

난이도: 고급

권장 선수 코스: 현대 신경망과 모델 아키텍처 · LLM 내부 구조

권장 문서 순서

1. 트랜스포머
2. 토큰 임베딩층
3. 세그먼트 임베딩
4. 위치 인코딩
5. 사인파 위치 인코딩
6. 학습형 위치 임베딩
7. 절대 위치 인코딩
8. 위치 ID
9. 어텐션
10. 쿼리·키·값
11. 가산 어텐션
12. 닷프로덕트 어텐션
13. 스케일드 닷프로덕트 어텐션
14. 어텐션 점수
15. 어텐션 행렬
16. 어텐션 헤드
17. 멀티헤드 어텐션
18. 어텐션 마스크
19. 패딩 마스크
20. 인과 마스크
21. 인코더
22. 디코더
23. 인코더-디코더
24. 크로스 어텐션
25. 인코더-디코더 어텐션
26. 피드포워드 네트워크
27. 잔차 연결
28. 레이어 정규화
29. 프리 정규화
30. 포스트 정규화
31. 정규화 배치
32. 트랜스포머 블록
33. 출력 투영
34. 언어 모델링 헤드
35. 인코더 전용 트랜스포머
36. 디코더 전용 모델
37. 시퀀스-투-시퀀스 트랜스포머
38. 양방향 어텐션
39. 프리픽스 언어 모델
40. BERT 아키텍처
41. GPT 아키텍처
42. T5 아키텍처
43. BART 아키텍처
44. XLNet 아키텍처
45. Conformer 아키텍처
46. 비전 트랜스포머
47. GEGLU
48. SwiGLU
49. RMS 정규화