LLMOps와 프로덕션 서빙

지연 시간·처리량·비용·안정성을 함께 책임지는 LLM 플랫폼 엔지니어 대상의 핵심 개념부터 평가·운영·통제까지 백과 문서를 순서대로 연결한 전문 학습 코스다.

대상: 지연 시간·처리량·비용·안정성을 함께 책임지는 LLM 플랫폼 엔지니어

권장 문서 순서

1. 추론
2. 모델 서빙
3. 모델 서빙 플랫폼
4. 추론 서버
5. 온라인 추론
6. 배치 추론
7. 추론 엔드포인트
8. 처리량
9. 지연 시간
10. 토큰 간 지연 시간
11. 꼬리 지연 시간
12. 지연 시간-처리량 절충
13. KV 캐시
14. 페이지드 KV 캐시
15. 프롬프트 캐싱
16. KV 캐시 블록
17. KV 캐시 재사용
18. 접두부 인식 스케줄링
19. KV 캐시 전송
20. 분리형 서빙
21. KV 캐시 계층화
22. 추론 부하 분산
23. 추론 자동 확장
24. 추론 용량 계획
25. 추론 모니터링
26. LLM 서빙 SLO
27. 토큰 예산 수용 제어
28. 연속 배칭 정책
29. 모델 플릿 라우팅
30. LLM 비용 귀속