코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
NLP 응용 — 번역, 요약, 질의응답 → 실전 응용
우리는 매일 질문을 합니다. "내일 날씨 어때?", "파이썬에서 리스트 정렬 어떻게 해?", "이 계약서의 해지 조건은?"
전통적 검색 vs QA 시스템:
QA가 필요한 실전 시나리오:
QA 시스템의 3단계 파이프라인:
1. 질문 이해(Question Understanding): 무엇을 묻고 있는가?
2. 정보 검색(Information Retrieval): 어디에 답이 있는가?
3. 답변 추출/생성(Answer Extraction/Generation): 답변은 무엇인가?
이 레슨에서는 이 파이프라인의 각 단계와 다양한 QA 기법을 깊이 있게 탐구합니다.
여러분, 매일 수많은 질문을 하지만 정확한 답을 찾기란 쉽지 않죠.
전통 검색 엔진은 키워드를 매칭해서 관련 문서 목록만 돌려주는 방식이에요.
다이어그램 왼쪽 위를 보시면, 사용자가 질문을 입력하면 키워드 매칭을 거쳐 문서1, 문서2처럼 여러 문서가 나열되는 구조예요.
문제는 사용자가 그 문서들을 하나하나 읽으면서 답을 직접 찾아야 한다는 거죠.
{QA→큐에이} 시스템은 근본적으로 다릅니다. 질문을 이해하고, 관련 정보를 검색하고, 정확한 답변을 직접 추출해 주거든요.
왼쪽 아래 {QA→큐에이} 시스템 파이프라인을 보세요. 질문 이해, 정보 검색, 답변 추출이라는 3단계로 구성되어 있어요.
예를 들어 "프랑스의 수도는?" 이라고 물으면, {QA→큐에이} 시스템은 "파리"라는 답을 직접 제공합니다.
오른쪽 활용 분야를 보시면, 고객 지원에서는 {FAQ→에프에이큐} 자동 답변으로 상담원 부담을 80% 줄일 수 있어요.
의료 분야에서는 "이 환자에게 아스피린을 처방해도 되나요?"라는 질문에 의료 문헌에서 금기사항을 즉시 확인해 줍니다.
법률 분야에서는 수천 페이지 계약서에서 핵심 조항을 몇 초 만에 찾아주고, 교육에서는 학생 질문에 교재 기반 답변을 자동으로 제공하죠.
핵심 차이점을 보면, 검색은 문서를 찾는 것이고 {QA→큐에이}는 답을 찾는 것입니다. 이 차이가 사용자 경험을 혁신적으로 바꿔요.
발전 역사를 보시면, 1999년 {TREC→트렉} {QA→큐에이}에서 시작해 2016년 {SQuAD→스쿼드}, 2018년 {BERT→버트}를 거쳐 2023년 {GPT→지피티}-4까지 왔어요.
20년 동안 키워드 매칭에서 딥러닝 기반 이해로 완전히 패러다임이 전환되었습니다.
전문가만 접근할 수 있던 정보가 일반인에게까지 확대된 것이 {QA→큐에이} 시스템의 진정한 가치입니다.
이 레슨에서는 {extractive→익스트랙티브}부터 {abstractive→앱스트랙티브}, 오픈 도메인, 멀티홉까지 다양한 {QA→큐에이} 기법을 살펴볼 거예요.
각 기법의 원리와 한계, 그리고 최신 {LLM→엘엘엠} 기반 {QA→큐에이}까지 체계적으로 이해해 봅시다.
실전 코드와 실험을 통해 직접 {QA→큐에이} 시스템을 구현하고 평가하는 방법도 배울 거예요.
자, 그럼 {QA→큐에이} 시스템의 유형부터 자세히 알아볼까요?
검색과 이해의 경계를 넘는 {QA→큐에이} 시스템, 지금부터 깊이 파헤쳐 봅시다.
다음 블록에서는 {QA→큐에이}의 세 가지 주요 유형을 비교해 볼게요.