효율적·장문맥 트랜스포머

희소·선형·메모리 효율 어텐션에서 위치 확장과 장문맥 모델 계보까지 연결한 전문 과정이다.

대상: 장문맥과 추론 효율화 기법을 설계·비교하려는 전문 학습자

난이도: 전문

권장 선수 코스: 트랜스포머 아키텍처 · LLM 내부 구조

권장 문서 순서

1. 어텐션 계산 복잡도
2. 로컬 어텐션
3. 글로벌 어텐션
4. 슬라이딩 윈도 어텐션
5. 블록 희소 어텐션
6. 희소 어텐션
7. 희소 트랜스포머
8. 선형 어텐션
9. 저랭크 어텐션
10. 커널화 어텐션
11. 메모리 효율적 어텐션
12. 플래시 어텐션
13. 융합 트랜스포머 커널
14. 청크 어텐션
15. 멀티쿼리 어텐션
16. 그룹 쿼리 어텐션
17. 키·값 압축
18. 키·값 투영
19. 페이지드 어텐션
20. 어텐션 싱크
21. 어텐션 헤드 가지치기
22. 레이어 드로핑
23. 조기 종료 트랜스포머
24. 적응형 계산 시간 트랜스포머
25. 깊이 혼합
26. 스위치 트랜스포머
27. 장문맥 트랜스포머
28. 문맥 길이 확장
29. 길이 외삽
30. 위치 보간
31. 상대 위치 인코딩
32. 회전 위치 임베딩
33. ALiBi 위치 편향
34. NTK 인식 스케일링
35. YaRN 스케일링
36. Transformer-XL
37. 순환 메모리 트랜스포머
38. Longformer
39. BigBird
40. Performer
41. Reformer
42. 메모리 증강 트랜스포머
43. 검색 결합 트랜스포머
44. 계층형 트랜스포머
45. 그래프 트랜스포머
46. 유니버설 트랜스포머
47. 상태 공간-트랜스포머 하이브리드
48. 확산 트랜스포머
49. 추측형 트랜스포머 블록