코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
실험 관리 — 재현 가능한 ML 워크플로우 → 실험 추적
MLflow와 W&B를 활용한 체계적인 ML 실험 추적, 재현성 보장, 모델 버전 관리를 학습합니다.
오늘은 실험 추적이 왜 필요한지 함께 살펴보겠습니다.
ML 실험 추적은 학습 시 파라미터와 성능 지표를 자동으로 기록하는 체계입니다.
예를 들면 학습률 0.001, 검증 정확도 0.93 같은 정보를 매번 저장하는 거죠.
대표 도구로는 MLflow와 W&B가 있습니다.
그림 상단 가운데를 보시면 오늘의 핵심 구조가 한눈에 보입니다.
실험 추적 없이 발생하는 세 가지 고통이 나란히 정리되어 있습니다.
첫 번째, '지난번 그 모델' 미스터리입니다.
수백 번 학습 후 최고 성능 하이퍼파라미터 조합을 찾을 수가 없어요.
print() 로그는 터미널을 끄면 사라지고, 파일도 이름 규칙이 무너집니다.
Uber도 초기에 이 문제로 재현 불가 사태가 빈발했습니다.
그래서 미켈란젤로 플랫폼을 2017년에 구축하게 됐죠.
두 번째는 재현 불가의 공포입니다.
그림 가운데 박스를 보시면 같은 코드인데 결과가 달라지는 상황이 나옵니다.
랜덤 시드, 데이터 버전, 라이브러리 버전 중 뭐가 바뀌었는지 알 수가 없어요.
Nature 설문에서 연구자 70%가 재현 실패를 경험했다고 응답했습니다.
세 번째는 배포 사고와 팀 협업 비용입니다.
그림 오른쪽 박스를 보세요.
팀원 A의 v3 대신 팀원 B가 낮은 v2를 프로덕션에 올리는 사고가 벌어집니다.
비교 기록이 없으면 성능 회귀도 발견하지 못합니다.
금융·의료 분야에서는 이런 실수가 규제 위반으로 이어지기도 합니다.
이제 그림 하단을 보시면 실험 추적의 세 가지 핵심 가치가 나옵니다.
첫째는 재현성입니다.
코드·데이터·환경·파라미터를 자동 스냅샷해 동일 결과를 보장합니다.
둘째는 비교로, 수백 개 실험을 테이블·차트로 필터링해 최적 조합을 즉시 확인합니다.
셋째는 협업으로, 팀 전원이 같은 대시보드에서 런 247번으로 소통하게 됩니다.
하단 비교 수치도 확인해 보시면, 하이퍼파라미터 5개에 값 4개면 조합이 1,024개입니다.
이걸 수작업으로 기록한다는 건 사실상 불가능한 일입니다.
이 레슨에서는 MLflow로 실험을 기록하고 UI에서 비교하는 방법을 직접 체험합니다.
W&B로 학습 곡선을 실시간으로 시각화하고 팀과 공유하는 방법도 배웁니다.
실험 추적 도구 없이 모델을 만들지 않겠다는 습관, 지금부터 함께 만들어 보겠습니다.