AI 시스템·하드웨어·서빙

AI 가속기와 메모리 계층에서 컴파일·양자화·KV 캐시·배칭·서빙 운영까지 연결한 전문 과정이다.

대상: 모델 추론 인프라의 성능·용량·신뢰성을 설계하려는 엔지니어

난이도: 전문

권장 선수 코스: LLM 내부 구조 · AI API 개발

권장 문서 순서

1. 추론
2. AI 가속기
3. 그래픽 처리 장치
4. 텐서 처리 장치
5. 신경망 처리 장치
6. 고대역폭 메모리
7. 가속기 메모리 계층
8. 가속기 메모리
9. 메모리 대역폭
10. 가속기 인터커넥트
11. NVLink
12. InfiniBand
13. CUDA
14. ROCm
15. 컴퓨트 클러스터
16. AI 데이터센터
17. 루프라인 모델
18. 연산 집약 작업
19. 메모리 집약 작업
20. 그래프 컴파일
21. 사전 컴파일
22. 연산자 융합
23. 커널 융합
24. XLA 컴파일러
25. ONNX Runtime
26. TensorRT-LLM
27. CPU 추론
28. GPU 추론
29. TPU 추론
30. NPU 추론
31. 양자화
32. 학습 후 양자화
33. 가중치 전용 양자화
34. 활성값 양자화
35. INT8 추론
36. INT4 추론
37. FP8 추론
38. KV 캐시
39. 프리필 단계
40. 디코드 단계
41. 연속 배칭
42. 요청 스케줄러
43. 첫 토큰 시간
44. 스트리밍 생성
45. 서비스 수준 목표
46. 추론 꼬리 지연 디버깅
47. 모델 복제본
48. 다중 모델 서빙
49. 모델 게이트웨이
50. 엣지 추론