워드 임베딩 (Word2Vec, GloVe)

1 / 15

100%

왜 One-hot 인코딩의 한계 — 고차원, 유사도 0이 필요한가? 실무에서 이 개념 없이는 문제를 해결할 수 없습니다. 핵심 동기와 배경을 먼저 이해합시다. One-hot 인코딩 은 단어를 표현하는 가장 단순한 방법입니다. 어휘 크기만큼의 벡터에서 해당 단어 위치만 1, 나머지는 0으로 표현합니다. 문제 1: 차원의 저주 어휘가 10만 개라면 각 단어는 10만 차원 벡터가 됩니다 대부분의 값이 0인 극도로 희소(sparse) 한 표현 메모리 낭비가 심하고, 계산이 비효율적입니다 문제 2: 의미적 유사도 = 0 "king"과 "queen"의 코사인 유사도: 0 "cat"과 "dog"의 코사인 유사도: 0 모든 단어 쌍이 동일한 거리를 가집니다 — 의미 관계를 전혀 반영하지 못합니다 문제 3: 일반화 불가 "I love cats"에서 학습한 내용이 "I love dogs"로 전이되지 않습니다 단어 간 관계 정보가 전혀 없기 때문입니다 해결책: 단어를 저차원 밀집 벡터(dense vector) 로 표현하는 워드 임베딩이 필요합니다.

0:00 / 2:36

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

NLP 기말고사BERT 구조 정리GPT 원리자연어처리 과제

비전공/입문자

NLP란자연어처리 입문GPT 쉽게 설명

취준생

NLP 엔지니어 면접BERT 파인튜닝 프로젝트LLM 개발자

직장인

챗봇 구축RAG 시스템 구현LLM 실무 활용

대학원생/연구자

LLM 논문 리뷰prompt engineering 연구RLHF 분석

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비