U-Net 아키텍처 — 의료 영상의 혁명

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

트랜스포머 시험attention 수식 정리self-attention 원리트랜스포머 과제

비전공/입문자

트랜스포머 쉽게attention 직관트랜스포머란

취준생

트랜스포머 면접attention 구현NLP 엔지니어 준비

직장인

트랜스포머 실무LLM 파인튜닝

대학원생/연구자

attention mechanism 논문efficient transformer 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비

U-Net 아키텍처 — 의료 영상의 혁명

정밀한 생체의학 이미지 분할을 위해 인코더-디코더 구조와 스킵 연결(skip connections)을 가진 U-Net을 구축합니다.

1 / 15

U-Net이란? — 의료 영상 분할을 위해 태어난 아키텍처

왜 U-Net이란? — 의료 영상 분할을 위해 태어난 아키텍처이(가) 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다.

</div>

U-Net은 2015년 Olaf Ronneberger 등이 의료 영상 분할(Medical Image Segmentation)을 위해 제안한 아키텍처입니다. 이름의 유래는 네트워크 구조가 알파벳 U 모양이기 때문이에요.

U-Net이 해결한 핵심 문제:

의료 영상 분야에서는 레이블된 데이터가 극히 부족합니다. 전문 의사가 직접 픽셀 단위로 표시해야 하므로 30장 정도의 학습 데이터로도 동작해야 했습니다. U-Net은 이 제약 조건에서 탄생했어요.

Semantic Segmentation이란?

- 이미지의 모든 픽셀에 클래스 레이블을 부여하는 작업

- 분류(Classification): "이 이미지에 고양이가 있다" → 하나의 레이블

- 분할(Segmentation): "이 픽셀은 고양이, 저 픽셀은 배경" → 픽셀별 레이블

- 출력: 입력 이미지와 동일한 크기의 분할 맵(Segmentation Map)

U-Net의 3가지 핵심 특징:

1. 인코더-디코더 대칭 구조: 수축 후 확장하는 U자 경로

2. Skip Connection: 인코더의 고해상도 특징을 디코더에 직접 전달

3. 소량 데이터 학습: Data Augmentation + Overlap-tile 전략으로 30장으로도 학습

왜 지금도 중요한가?

- 의료 영상 분할의 사실상 표준(de facto standard)

- Stable Diffusion 등 디퓨전 모델의 노이즈 예측기로 사용

- U-Net++, Attention U-Net, nnU-Net 등 수많은 변형의 기초

왜 중요한가? 이미지 분류는 "이 이미지에 고양이가 있는가?"에 답하지만, 의료 영상에서는 "종양이 정확히 어디에, 어떤 모양으로 있는가?"에 답해야 합니다. 이것이 시맨틱 분할(semantic segmentation) — 모든 픽셀에 클래스를 할당하는 작업입니다. U-Net은 인코더로 "무엇이 있는지"를 이해하고, 디코더로 "어디에 있는지"를 복원하는 U자 구조로, 적은 데이터로도 정밀한 분할을 달성합니다. 의료 영상에서 데이터가 극히 제한적인 현실에서, U-Net은 30장의 학습 이미지만으로 세포 분할 대회에서 우승하여 그 효율성을 증명했습니다.

0:00

1:59

🎓 강의 스크립트

유넷은 2015년에 의료 영상 분할을 위해 탄생한 아키텍처예요.

왼쪽 빨간 영역을 보세요. 의료 영상에는 세 가지 큰 도전이 있어요.

첫째, 레이블 부족이에요. 전문 의사가 직접 픽셀 단위로 경계를 표시해야 하거든요.

30장의 학습 데이터를 확보하는 것조차 어려운 환경이에요.

둘째, 정밀한 경계가 필요해요. 세포막 한두 픽셀 차이가 진단 결과를 바꿀 수 있어요.

셋째, 클래스 불균형이에요. 배경이 95퍼센트고 병변은 5퍼센트에 불과해요.

가운데 파란 영역을 보시면, 유넷이 이 문제들을 어떻게 해결했는지 나와요.

인코더와 디코더가 대칭인 U자 구조를 사용해요.

스킵 커넥션으로 인코더의 고해상도 특징을 디코더에 직접 전달해요.

일래스틱 디포메이션으로 30장의 데이터를 수백 장처럼 활용해요.

세포 경계에 가중치를 주는 로스 함수로 인접 세포를 분리해요.

오른쪽 초록 영역의 성과를 보세요. 아이에스비아이 2015 대회에서 우승했어요.

겨우 30장으로 아이오유 영점구이영삼을 달성했어요. 2위보다 3퍼센트 높았죠.

2025년 기준 6만 회 이상 인용된, 의료 영상 분할의 사실상 표준이에요.

세포, 장기, 종양 분할은 물론 위성 영상과 자율주행까지 확장되었어요.

소량 데이터와 정밀 경계 분할을 동시에 해결한 게임 체인저랍니다.

다음 슬라이드에서 유넷의 전체 구조를 자세히 살펴볼게요.

인코더가 어떻게 특징을 압축하고, 디코더가 어떻게 복원하는지 보겠습니다.

특히 스킵 커넥션이 왜 결정적으로 중요한지 직관적으로 이해해볼게요.

유넷이 왜 단순한 에프시엔보다 월등한 성능을 보이는지 함께 알아봐요.

💬 강의 Q&A

0:00

0:42

🎓 강의 스크립트

선생님: 유넷이 왜 하필 U자 모양의 대칭 구조를 선택했을까요?

학생: 인코더에서 압축한 정보를 디코더에서 다시 복원해야 하니까 대칭이 자연스럽지 않을까요?

선생님: 맞아요! 그런데 단순 대칭만으로는 경계가 뭉개져요. 여기서 핵심은 스킵 커넥션이에요.

학생: 스킵 커넥션이 없으면 어떻게 되나요?

선생님: 인코더의 고해상도 경계 정보가 사라져서, 디코더가 대략적인 위치만 복원해요.

학생: 그래서 30장으로도 잘 되는 건 데이터 증강 덕분인 거죠?

선생님: 정확해요. 일래스틱 디포메이션이 세포의 자연스러운 변형을 모방해서 소량 데이터를 극복하게 해줘요.