멀티헤드 어텐션과 피드포워드

1 / 19

100%

왜 왜 Multiple Heads인가? Single Head의 한계가 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다. 한 문장에도 여러 종류의 관계 가 동시에 존재합니다. Single Head는 하나의 가중치 행렬로 하나의 패턴 만 학습하지만, Multi-Head는 여러 Head가 각기 다른 패턴 을 동시에 잡아냅니다. 왜 중요한가? 단일 어텐션 헤드는 하나의 관점에서만 토큰 간 관계를 포착합니다. 예를 들어 "The cat sat on the mat because it was tired"에서 "it"이 가리키는 대상을 이해하려면 구문적 관계(주어-동사), 의미적 관계(피로\to고양이), 위치적 관계(가까운 명사) 등 여러 관점이 동시에 필요합니다. 멀티헤드 어텐션은 각 헤드가 서로 다른 부분공간(subspace)에서 서로 다른 패턴을 학습하게 하여, 언어의 다층적 구조를 병렬로 포착합니다. 멀티헤드 어텐션은 서로 다른 부분공간에서 정보를 병렬로 추출하여 단일 헤드보다 풍부한 표현을 학습한다 (Vaswani et al., 2017).

0:00 / 2:31

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비