LLM 내부 구조

토큰 처리에서 트랜스포머와 생성 파라미터까지 순서대로 연결한다.

대상: 언어 모델의 내부 원리를 이해하려는 학습자

권장 문서 순서

1. 벡터
2. 행렬
3. 신경망
4. 임베딩
5. 토큰화
6. 어휘 집합
7. 트랜스포머
8. 어텐션
9. 셀프 어텐션
10. 쿼리·키·값
11. 위치 인코딩
12. 디코더 전용 모델
13. 컨텍스트 윈도우
14. 로짓
15. 소프트맥스
16. 생성 온도
17. Top-k 샘플링
18. Top-p 샘플링