셀프 어텐션 메커니즘

1 / 19

100%

왜 Cross-Attention에서 Self-Attention으로가 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다. Cross-Attention은 인코더-디코더 사이 의 참조입니다. 번역할 때 디코더가 인코더를 봅니다. Self-Attention은 같은 시퀀스 내부 에서 모든 위치가 서로를 참조합니다. Q, K, V가 전부 같은 입력에서 나옵니다 — 이것이 "Self"의 의미입니다. 왜 중요한가? 어텐션 메커니즘은 원래 번역 모델의 Cross-Attention(인코더\to디코더)에서 시작했습니다. Self-Attention은 이 아이디어를 확장하여 "같은 시퀀스 내 토큰끼리" 관계를 계산합니다. 이 전환이 혁명적인 이유는, RNN 없이도 시퀀스 내 모든 위치 쌍의 관계를 직접 모델링할 수 있게 되었기 때문입니다. RNN은 10 토큰 떨어진 단어의 관계를 파악하려면 10번의 순차 계산이 필요하지만, Self-Attention은 단 1번의 연산으로 직접 연결합니다. 트랜스포머의 셀프 어텐션 메커니즘은 Vaswani 등이 "Attention Is All You Need"에서 제안했다 (Vaswani et al., 2017).

0:00 / 2:39

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비