데이터·학습 파이프라인

데이터 분할·품질·출처·혼합에서 학습 목표·패킹·체크포인트·분산 병렬화까지 연결한 고급 과정이다.

대상: 학습 데이터와 분산 사전학습 파이프라인을 설계하려는 엔지니어

난이도: 고급

권장 선수 코스: AI 기초 · 모델 학습과 튜닝

권장 문서 순서

1. 데이터셋
2. 레이블
3. 특성
4. 목표 변수
5. 데이터 분포
6. 데이터 전처리
7. 학습·검증·테스트 분할
8. 검증 데이터셋
9. 테스트 데이터셋
10. 데이터 누수
11. 분포 외 데이터
12. 분포 이동
13. 데이터셋 중복 제거
14. 학습 데이터 필터링
15. 학습 데이터 형식화
16. 데이터 문서화
17. 학습 데이터 동의
18. 학습 데이터 저작권
19. 학습 데이터 출처 추적
20. 학습 말뭉치
21. 웹 규모 학습 데이터
22. 합성 데이터
23. 데이터 증강
24. 데이터 혼합
25. 데이터 커리큘럼
26. 지시 데이터셋
27. 지시 데이터 혼합
28. SFT 데이터 혼합
29. 문서 패킹
30. 시퀀스 패킹
31. 인과 언어 모델링 목표
32. 마스크 언어 모델링 목표
33. 잡음 제거 목표
34. 구간 손상 복원
35. 대조 목적 함수
36. 다중 과제 목적 함수
37. 복원 손실
38. 보조 손실
39. 사전학습 파이프라인
40. 연속 사전학습
41. 체크포인트
42. 데이터 병렬화
43. 모델 병렬화
44. 텐서 병렬화
45. 파이프라인 병렬화
46. 전문가 병렬화
47. All-Reduce
48. 완전 샤딩 데이터 병렬화
49. ZeRO 옵티마이저
50. 학습 재현성