코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
생성 모델 — 데이터를 만들어내는 AI → 확산 모델(Diffusion Models)
잠재 확산(latent diffusion), U-Net 디노이저(denoiser), 그리고 Stable Diffusion 아키텍처를 이해합니다.
What — Stable Diffusion의 3대 구성 요소
Stable Diffusion은 텍스트→이미지 생성을 위해 세 개의 독립된 신경망을 조립한 시스템이다 (Rombach et al., 2022):
Why — 왜 세 모듈을 분리하는가?
How — 각 모듈의 역할과 데이터 흐름
[여기에 다이어그램: Stable Diffusion 아키텍처 파이프라인]
모듈 1: CLIP Text Encoder
모듈 2: U-Net Denoiser (조건부)
[여기에 다이어그램: Cross-Attention 상세]
모듈 3: VAE (Encoder + Decoder)
전체 파이프라인 정리 (추론 시)
Latent Diffusion이 가져온 혁신
오늘 우리가 만나볼 스테이블 디퓨전은 텍스트 한 줄로 이미지를 만들어내는 놀라운 시스템입니다.
이 시스템의 비밀은 세 개의 모듈이 정교하게 협력한다는 데 있습니다.
그림 상단을 보시면, 왼쪽부터 CLIP, U-Net, VAE 세 모듈이 나란히 배치되어 있습니다.
첫 번째 모듈인 CLIP 텍스트 인코더를 보세요.
사용자가 입력한 프롬프트를 77개 토큰, 768차원의 임베딩 벡터로 변환합니다.
CLIP은 1억 2천3백만 개의 파라미터를 가지고 있지만, 학습 시에는 동결 상태로 유지됩니다.
가운데 주황색 영역의 U-Net을 보세요. 이것이 핵심 엔진입니다.
U-Net은 잠재 공간에서 노이즈를 예측하고 제거하는 디노이저 역할을 합니다.
8억 6천만 개의 파라미터로 구성되며, 학습 대상이 되는 유일한 모듈이에요.
오른쪽 초록색 영역의 VAE 디코더를 보세요.
64 곱하기 64 곱하기 4 크기의 잠재 벡터를 512 곱하기 512 곱하기 3 RGB 이미지로 변환합니다.
이것이 바로 8배 업스케일링 과정입니다.
그림 아래쪽 U-Net 내부 구조를 보시면, 다운 블록과 업 블록 사이에 스킵 커넥션이 연결되어 있습니다.
이 스킵 커넥션 덕분에 세밀한 디테일 정보가 보존됩니다.
왼쪽 하단 파라미터 비교 표를 보면, CLIP과 VAE는 동결이고 U-Net만 학습합니다.
왜 이런 설계일까요? U-Net에 학습 자원을 집중하기 위해서입니다.
오른쪽 하단 데이터 흐름을 따라가 보세요.
텍스트가 조건 벡터가 되고, 순수 노이즈가 깨끗한 잠재 벡터가 되고, 최종 이미지가 됩니다.
이 세 모듈의 분업 구조가 스테이블 디퓨전의 효율성과 품질을 동시에 달성하는 핵심 원리입니다.
이제 각 모듈의 내부 동작을 하나씩 깊이 들여다보겠습니다.