이 레슨과 관련된 학습 키워드
인공지능(AI) — 기계가 생각하는 법 → 자연어처리(NLP) — 기계가 언어를 이해하다 → NLP 응용 — 번역, 요약, 질의응답 → 실전 응용
Learn QA systems: extractive/abstractive QA, SQuAD, BERT span prediction, DPR, multi-hop QA, table QA, conversational QA, LLM-based QA, RAG, and evaluation metrics.
여러분, 매일 수많은 질문을 하지만 정확한 답을 찾기란 쉽지 않죠.
전통 검색 엔진은 키워드를 매칭해서 관련 문서 목록만 돌려주는 방식이에요.
다이어그램 왼쪽 위를 보시면, 사용자가 질문을 입력하면 키워드 매칭을 거쳐 문서1, 문서2처럼 여러 문서가 나열되는 구조예요.
문제는 사용자가 그 문서들을 하나하나 읽으면서 답을 직접 찾아야 한다는 거죠.
{QA→큐에이} 시스템은 근본적으로 다릅니다. 질문을 이해하고, 관련 정보를 검색하고, 정확한 답변을 직접 추출해 주거든요.
왼쪽 아래 {QA→큐에이} 시스템 파이프라인을 보세요. 질문 이해, 정보 검색, 답변 추출이라는 3단계로 구성되어 있어요.
예를 들어 "프랑스의 수도는?" 이라고 물으면, {QA→큐에이} 시스템은 "파리"라는 답을 직접 제공합니다.
오른쪽 활용 분야를 보시면, 고객 지원에서는 {FAQ→에프에이큐} 자동 답변으로 상담원 부담을 80% 줄일 수 있어요.
의료 분야에서는 "이 환자에게 아스피린을 처방해도 되나요?"라는 질문에 의료 문헌에서 금기사항을 즉시 확인해 줍니다.
법률 분야에서는 수천 페이지 계약서에서 핵심 조항을 몇 초 만에 찾아주고, 교육에서는 학생 질문에 교재 기반 답변을 자동으로 제공하죠.
핵심 차이점을 보면, 검색은 문서를 찾는 것이고 {QA→큐에이}는 답을 찾는 것입니다. 이 차이가 사용자 경험을 혁신적으로 바꿔요.
발전 역사를 보시면, 1999년 {TREC→트렉} {QA→큐에이}에서 시작해 2016년 {SQuAD→스쿼드}, 2018년 {BERT→버트}를 거쳐 2023년 {GPT→지피티}-4까지 왔어요.
20년 동안 키워드 매칭에서 딥러닝 기반 이해로 완전히 패러다임이 전환되었습니다.
전문가만 접근할 수 있던 정보가 일반인에게까지 확대된 것이 {QA→큐에이} 시스템의 진정한 가치입니다.
이 레슨에서는 {extractive→익스트랙티브}부터 {abstractive→앱스트랙티브}, 오픈 도메인, 멀티홉까지 다양한 {QA→큐에이} 기법을 살펴볼 거예요.
각 기법의 원리와 한계, 그리고 최신 {LLM→엘엘엠} 기반 {QA→큐에이}까지 체계적으로 이해해 봅시다.
실전 코드와 실험을 통해 직접 {QA→큐에이} 시스템을 구현하고 평가하는 방법도 배울 거예요.
자, 그럼 {QA→큐에이} 시스템의 유형부터 자세히 알아볼까요?
검색과 이해의 경계를 넘는 {QA→큐에이} 시스템, 지금부터 깊이 파헤쳐 봅시다.
다음 블록에서는 {QA→큐에이}의 세 가지 주요 유형을 비교해 볼게요.
선생님: {QA→큐에이} 시스템이 전통 검색 엔진과 가장 크게 다른 점은 무엇일까요?
학생: 검색은 문서를 찾아주는데, {QA→큐에이}는 문서 속에서 답 자체를 찾아서 알려줘요.
선생님: 맞아요. 사용자가 문서를 읽을 필요 없이 바로 답을 받을 수 있다는 게 핵심이죠.
학생: 의료나 법률처럼 전문 분야에서 특히 유용하겠네요?
선생님: 정확해요. 수천 페이지 문서에서 핵심 정보를 즉시 추출할 수 있으니 전문가의 의사결정 속도가 비약적으로 빨라지죠.
학생: {SQuAD→스쿼드}나 {BERT→버트}가 {QA→큐에이} 발전에 큰 역할을 한 거군요.
선생님: 네, {SQuAD→스쿼드}가 벤치마크를 제공하고 {BERT→버트}가 사람 수준의 독해력을 보여주면서 {QA→큐에이} 연구가 폭발적으로 성장했어요.