트랜스포머 블록 구현

1 / 20

100%

왜 Transformer 전체 구조를 이해해야 하는가? RNN은 순차 처리로 병렬화가 불가능하고, 긴 거리에서 정보가 손실됩니다. Transformer는 두 문제를 동시에 해결합니다. Transformer는 인코더 블록 N개와 디코더 블록 N개로 구성됩니다 (원 논문에서 N=6). 인코더 블록은 Self-Attention + FFN으로 구성되며, 입력 시퀀스를 병렬로 처리합니다. 디코더 블록은 Masked Self-Attention + Cross-Attention + FFN의 3중 구조입니다. 인코더의 출력(K, V)이 디코더의 Cross-Attention으로 전달됩니다. 디코더는 인코더의 K, V를 참조하여 출력 시퀀스를 한 토큰씩 생성합니다. Masked Self-Attention은 미래 토큰을 보지 못하게 하여 자기회귀 생성을 보장합니다. 입력에는 토큰 임베딩 + 위치 인코딩(Positional Encoding)이 더해집니다. 위치 인코딩은 순서 정보를 제공하며, 사인/코사인 함수로 생성됩니다. 트랜스포머 구현의 표준 참조는 "The Annotated Transformer"로, 원 논문의 코드를 단계별로 해설한다 (Rush, 2018).

0:00 / 3:11

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비