LLMOps와 프로덕션 서빙

지연 시간·처리량·비용·안정성을 함께 책임지는 LLM 플랫폼 엔지니어 대상의 핵심 개념부터 평가·운영·통제까지 백과 문서를 순서대로 연결한 전문 학습 코스다.

대상: 지연 시간·처리량·비용·안정성을 함께 책임지는 LLM 플랫폼 엔지니어

권장 문서 순서

1. 추론
2. 모델 서빙
3. 모델 서빙 플랫폼
4. 추론 서버
5. 온라인 추론
6. 배치 추론
7. 추론 엔드포인트
8. 처리량
9. 지연 시간
10. 토큰 간 지연 시간
11. 꼬리 지연 시간
12. 지연 시간-처리량 절충
13. KV 캐시
14. 페이지드 KV 캐시
15. 프롬프트 캐싱
16. 추론 부하 분산
17. 추론 자동 확장
18. 추론 용량 계획
19. 추론 모니터링
20. LLM 서빙 SLO
21. 토큰 예산 수용 제어
22. 연속 배칭 정책
23. 모델 플릿 라우팅
24. LLM 비용 귀속