인공지능(AI) — 기계가 생각하는 법 → MLOps & 실전 배포 — 모델을 세상에 내보내기 → 실험 관리 — 재현 가능한 ML 워크플로우 → 데이터 파이프라인

데이터 파이프라인 — 데이터의 흐름 설계

ETL/ELT, DVC, Feature Store, Great Expectations, 데이터 드리프트 감지, Airflow/Prefect 자동화 등 데이터 파이프라인 전체를 학습합니다.

1 / 23

왜 데이터 파이프라인이 필요한가

1What — 데이터 파이프라인이란?

2- ML 시스템에서 원시 데이터를 수집 → 정제 → 변환 → 저장하는 일련의 자동화된 워크플로우

3- 모델 학습에 쓸 수 있는 형태로 데이터를 가공하는 "공장 라인"에 해당

4- 비유: 식당에서 요리(모델 학습)보다 식재료 손질·세척·보관(데이터 처리)에 더 많은 시간이 드는 것과 같음

5Why — 모델 코드보다 데이터 코드가 압도적으로 많다

6- Google의 실제 ML 시스템 분석에 따르면, 전체 코드에서 모델 학습 코드는 약 5%에 불과하고 나머지 95%가 데이터 수집·검증·변환·서빙 코드임 (Sculley et al., 2015)

7- ML 엔지니어 업무 시간의 약 80%가 데이터 수집·정제·라벨링 등 데이터 준비에 소비됨 (Kaggle Survey, 2022)

8- 즉, ML 프로젝트의 본질은 "모델 설계"가 아니라 "데이터 흐름 설계"에 가까움

9Why — Garbage In, Garbage Out (GIGO) 원칙

10- 아무리 정교한 모델도 입력 데이터 품질이 낮으면 출력 품질도 낮음

11- 데이터 품질이 곧 모델 성능의 상한선(ceiling)을 결정함

12- Andrew Ng의 Data-Centric AI 운동이 이 원칙을 재조명: 모델 구조를 고정하고 데이터 품질을 개선하는 것이 더 효과적 (Ng, 2021)

13Why — 빅테크에서 파이프라인 장애 = 서비스 장애

14- Google: 검색 랭킹 모델의 학습 파이프라인 장애 시 검색 품질이 수 시간 내 하락

15- Netflix: 추천 파이프라인이 멈추면 개인화 추천이 불가능해져 사용자 이탈 급증

16- Uber: 실시간 수요 예측 파이프라인 장애 → 가격 책정 오류 → 수백만 달러 손실 사례 보고 (Li et al., 2017)

17- 이 사례들은 데이터 파이프라인이 단순 전처리가 아니라 비즈니스 핵심 인프라임을 보여줌

18How — 파이프라인의 핵심 구성 요소

19- 수집(Ingestion): API, DB, 로그 등 다양한 소스에서 원시 데이터 획득

20- 검증(Validation): 스키마 확인, 결측값·이상치 탐지 → 데이터 품질 보장

21- 변환(Transformation): 정규화, 피처 엔지니어링, 인코딩 등 모델 입력 형태로 가공

22- 저장 및 버전 관리: 재현 가능한 학습을 위해 데이터셋 버전을 추적

23핵심 통계 정리

24- ML 시스템 내 모델 코드 비중: 약 5% (Sculley et al., 2015)

25- 데이터 준비에 소요되는 시간: 약 80% (Kaggle Survey, 2022)

26- 데이터 품질 개선 효과: 동일 모델에서 성능 2~10% 향상 가능 (Ng, 2021)

0:00

1:26

🎓 강의 스크립트

안녕하세요, 오늘은 데이터 파이프라인이 왜 필요한지 알아볼게요.

엠엘 프로젝트를 시작하면 모델부터 만들고 싶죠.

그런데 실제 현장은 조금 다릅니다.

슬라이드 왼쪽 박스를 보세요.

구글 내부 연구 결과가 담겨 있는데요.

전체 엠엘 시스템 코드 중 모델 코드는 단 5퍼센트입니다.

나머지 95퍼센트는 데이터와 인프라 코드예요.

2015년 스컬리 연구팀의 구글 논문에서 나온 수치입니다.

충격적이죠?

모델은 사실 빙산의 일각이에요.

왼쪽 아래 막대 그래프도 보시면요.

엠엘 엔지니어 업무 시간의 80퍼센트가 데이터 준비입니다.

2022년 캐글 서베이에서 확인된 수치예요.

모델 튜닝보다 데이터 정리에 훨씬 더 많은 시간을 써요.

이게 현실이에요.

이번엔 오른쪽 박스를 보세요.

지아이지오, 가비지 인 가비지 아웃이라는 말이 있습니다.

쓰레기를 넣으면 쓰레기가 나온다는 뜻이죠.

아무리 좋은 모델도 데이터가 나쁘면 소용없어요.

이 원칙이 데이터 파이프라인의 출발점입니다.

그래서 이티엘과 이엘티 개념이 등장했어요.

데이터를 수집하고, 변환하고, 적재하는 과정이에요.

다음 슬라이드에서 더 자세히 살펴볼게요.

💬 강의 Q&A

0:00

0:38

🎓 강의 스크립트

선생님: 여기서 질문이 하나 들어왔네요.

학생: 선생님, 지아이지오가 실제로 어떤 상황을 말하는 건가요?

선생님: 좋은 질문이에요! 입력 데이터 자체가 잘못됐을 때를 말해요.

선생님: 예를 들어, 나이 컬럼에 음수가 들어있거나 레이블이 뒤섞인 경우예요.

선생님: 그런 데이터로 학습하면 모델은 엉뚱한 패턴을 배우게 돼요.

선생님: 마치 잘못된 답지로 공부한 학생이 시험을 망치는 것과 같아요.

선생님: 아무리 최신 모델을 써도 데이터가 나쁘면 성능이 안 나와요.

선생님: 그래서 데이터를 정제하는 파이프라인이 모델보다 먼저 필요한 거예요.

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

MLOps 정리Docker 과제

비전공/입문자

MLOps란Docker 입문

취준생

MLOps 엔지니어 면접ML 배포 경험MLOps 포트폴리오

직장인

MLOps 실무ML 파이프라인 구축Docker 배포

대학원생/연구자

MLOps 논문reproducibility

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비

인공지능(AI) — 기계가 생각하는 법 → MLOps & 실전 배포 — 모델을 세상에 내보내기 → 실험 관리 — 재현 가능한 ML 워크플로우 → 데이터 파이프라인

데이터 파이프라인 — 데이터의 흐름 설계

ETL/ELT, DVC, Feature Store, Great Expectations, 데이터 드리프트 감지, Airflow/Prefect 자동화 등 데이터 파이프라인 전체를 학습합니다.

1 / 23

왜 데이터 파이프라인이 필요한가

1What — 데이터 파이프라인이란?

2- ML 시스템에서 원시 데이터를 수집 → 정제 → 변환 → 저장하는 일련의 자동화된 워크플로우

3- 모델 학습에 쓸 수 있는 형태로 데이터를 가공하는 "공장 라인"에 해당

4- 비유: 식당에서 요리(모델 학습)보다 식재료 손질·세척·보관(데이터 처리)에 더 많은 시간이 드는 것과 같음

5Why — 모델 코드보다 데이터 코드가 압도적으로 많다

7- ML 엔지니어 업무 시간의 약 80%가 데이터 수집·정제·라벨링 등 데이터 준비에 소비됨 (Kaggle Survey, 2022)

8- 즉, ML 프로젝트의 본질은 "모델 설계"가 아니라 "데이터 흐름 설계"에 가까움

9Why — Garbage In, Garbage Out (GIGO) 원칙

10- 아무리 정교한 모델도 입력 데이터 품질이 낮으면 출력 품질도 낮음

11- 데이터 품질이 곧 모델 성능의 상한선(ceiling)을 결정함

12- Andrew Ng의 Data-Centric AI 운동이 이 원칙을 재조명: 모델 구조를 고정하고 데이터 품질을 개선하는 것이 더 효과적 (Ng, 2021)

13Why — 빅테크에서 파이프라인 장애 = 서비스 장애

14- Google: 검색 랭킹 모델의 학습 파이프라인 장애 시 검색 품질이 수 시간 내 하락

15- Netflix: 추천 파이프라인이 멈추면 개인화 추천이 불가능해져 사용자 이탈 급증

16- Uber: 실시간 수요 예측 파이프라인 장애 → 가격 책정 오류 → 수백만 달러 손실 사례 보고 (Li et al., 2017)

17- 이 사례들은 데이터 파이프라인이 단순 전처리가 아니라 비즈니스 핵심 인프라임을 보여줌

18How — 파이프라인의 핵심 구성 요소

19- 수집(Ingestion): API, DB, 로그 등 다양한 소스에서 원시 데이터 획득

20- 검증(Validation): 스키마 확인, 결측값·이상치 탐지 → 데이터 품질 보장

21- 변환(Transformation): 정규화, 피처 엔지니어링, 인코딩 등 모델 입력 형태로 가공

22- 저장 및 버전 관리: 재현 가능한 학습을 위해 데이터셋 버전을 추적

23핵심 통계 정리

24- ML 시스템 내 모델 코드 비중: 약 5% (Sculley et al., 2015)

25- 데이터 준비에 소요되는 시간: 약 80% (Kaggle Survey, 2022)

26- 데이터 품질 개선 효과: 동일 모델에서 성능 2~10% 향상 가능 (Ng, 2021)

0:00

1:26

🎓 강의 스크립트

안녕하세요, 오늘은 데이터 파이프라인이 왜 필요한지 알아볼게요.

엠엘 프로젝트를 시작하면 모델부터 만들고 싶죠.

그런데 실제 현장은 조금 다릅니다.

슬라이드 왼쪽 박스를 보세요.

구글 내부 연구 결과가 담겨 있는데요.

전체 엠엘 시스템 코드 중 모델 코드는 단 5퍼센트입니다.

나머지 95퍼센트는 데이터와 인프라 코드예요.

2015년 스컬리 연구팀의 구글 논문에서 나온 수치입니다.

충격적이죠?

모델은 사실 빙산의 일각이에요.

왼쪽 아래 막대 그래프도 보시면요.

엠엘 엔지니어 업무 시간의 80퍼센트가 데이터 준비입니다.

2022년 캐글 서베이에서 확인된 수치예요.

모델 튜닝보다 데이터 정리에 훨씬 더 많은 시간을 써요.

이게 현실이에요.

이번엔 오른쪽 박스를 보세요.

지아이지오, 가비지 인 가비지 아웃이라는 말이 있습니다.

쓰레기를 넣으면 쓰레기가 나온다는 뜻이죠.

아무리 좋은 모델도 데이터가 나쁘면 소용없어요.

이 원칙이 데이터 파이프라인의 출발점입니다.

그래서 이티엘과 이엘티 개념이 등장했어요.

데이터를 수집하고, 변환하고, 적재하는 과정이에요.

다음 슬라이드에서 더 자세히 살펴볼게요.

💬 강의 Q&A

0:00

0:38

🎓 강의 스크립트

선생님: 여기서 질문이 하나 들어왔네요.

학생: 선생님, 지아이지오가 실제로 어떤 상황을 말하는 건가요?

선생님: 좋은 질문이에요! 입력 데이터 자체가 잘못됐을 때를 말해요.

선생님: 예를 들어, 나이 컬럼에 음수가 들어있거나 레이블이 뒤섞인 경우예요.

선생님: 그런 데이터로 학습하면 모델은 엉뚱한 패턴을 배우게 돼요.

선생님: 마치 잘못된 답지로 공부한 학생이 시험을 망치는 것과 같아요.

선생님: 아무리 최신 모델을 써도 데이터가 나쁘면 성능이 안 나와요.

선생님: 그래서 데이터를 정제하는 파이프라인이 모델보다 먼저 필요한 거예요.