토큰화와 텍스트 전처리

1 / 15

100%

토큰화(Tokenization) 는 텍스트를 의미 있는 최소 단위(토큰) 로 분리하는 과정입니다. NLP 파이프라인의 가장 첫 번째이자 가장 중요한 단계입니다. 왜 토큰화가 필요한가? 컴퓨터는 문자열을 그대로 이해할 수 없습니다 텍스트를 숫자(벡터) 로 변환하려면, 먼저 어떤 단위 로 나눌지 결정해야 합니다 토큰화 방식에 따라 모델 성능이 크게 달라집니다 토큰이란? 단어 단위: "나는 학생입니다" \to ["나는", "학생입니다"] 형태소 단위: "나는 학생입니다" \to ["나", "는", "학생", "입니다"] 서브워드 단위: "unbelievable" \to ["un", "##believ", "##able"] 문자 단위: "cat" \to ["c", "a", "t"] 핵심 원칙: 토큰화는 "어떻게 나눌 것인가"의 문제이며, 정답은 하나가 아닙니다. 언어, 과제, 모델에 따라 최적의 방식이 다릅니다.

0:00 / 3:02

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

NLP 기말고사BERT 구조 정리GPT 원리자연어처리 과제

비전공/입문자

NLP란자연어처리 입문GPT 쉽게 설명

취준생

NLP 엔지니어 면접BERT 파인튜닝 프로젝트LLM 개발자

직장인

챗봇 구축RAG 시스템 구현LLM 실무 활용

대학원생/연구자

LLM 논문 리뷰prompt engineering 연구RLHF 분석

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비