코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
NLP 응용 — 번역, 요약, 질의응답 → 실전 응용
프롬프트 엔지니어링 마스터: In-context Learning, CoT, ToT, ReAct, RAG, 프롬프트 인젝션 방어, 실전 패턴
GPT-4, Claude 같은 대형 언어 모델(LLM)은 수천억 개의 파라미터를 가지고 있습니다. Fine-tuning은 이 파라미터를 업데이트하는 것이지만, 비용이 수천~수만 달러이고 데이터 준비에 수주가 걸립니다.
프롬프트 엔지니어링은 모델의 파라미터를 한 개도 바꾸지 않고, 입력 텍스트만으로 행동을 제어하는 기술입니다.
왜 이것이 가능한가?
비용 비교:
핵심 통찰: 프롬프트 엔지니어링은 "모델에게 무엇을 할지 잘 설명하는 기술"이 아닙니다. "모델이 학습한 패턴 중 원하는 패턴을 정확히 활성화시키는 기술"입니다.
대형 언어 모델을 활용하는 방법은 크게 두 가지예요.
하나는 파인튜닝{fine-tuning→파인튜닝}으로, 모델의 파라미터를 직접 업데이트하는 거예요.
이 방법은 비용이 만 달러 이상 들고, 전문 GPU 인프라도 필요해요.
다른 하나가 바로 프롬프트{prompt→프롬프트} 엔지니어링이에요.
왼쪽 빨간 박스를 보세요, 파인튜닝의 단점이 나열되어 있어요.
수십억 개 파라미터를 직접 수정하니까 과적합이나 재앙적 망각 같은 부작용이 생겨요.
오른쪽 초록 박스를 보면, 프롬프트{prompt→프롬프트} 엔지니어링은 파라미터를 하나도 안 바꿔요.
API 호출 한 번에 0.01달러면 되고, 즉시 적용할 수 있죠.
그런데 이게 어떻게 가능할까요?
가운데 파란 박스를 보시면, 핵심 원리가 나와 있어요.
LLM은 사전학습 중에 수조 개의 텍스트 패턴을 이미 학습했어요.
올바른 프롬프트{prompt→프롬프트}는 이 잠재 능력 중 원하는 것을 정확히 활성화시켜요.
아래 성능 비교 막대를 보세요.
감정 분석 작업에서 파인튜닝은 95.2퍼센트, 퓨샷{few-shot→퓨샷} 프롬프트{prompt→프롬프트}는 91.8퍼센트예요.
제로샷{zero-shot→제로샷}도 85.4퍼센트로, 프롬프트{prompt→프롬프트}만으로 충분히 쓸만해요.
비용 대비 성능을 따지면 프롬프트{prompt→프롬프트} 엔지니어링이 압도적으로 효율적이에요.
잘 설계된 프롬프트{prompt→프롬프트}는 파인튜닝 성능의 80에서 96퍼센트를 달성할 수 있어요.
그래서 요즘은 파인튜닝 전에 프롬프트{prompt→프롬프트} 최적화부터 시도하는 게 업계 표준이에요.
모델의 파라미터를 건드리지 않으니 원본 능력이 100퍼센트 보존되는 것도 큰 장점이에요.
이번 레슨에서는 이 프롬프트{prompt→프롬프트} 엔지니어링의 핵심 기법들을 하나씩 배워볼 거예요.
제로샷{zero-shot→제로샷}부터 체인오브쏘트{chain-of-thought→체인오브쏘트}까지, 실전에서 바로 쓸 수 있는 기술들이에요.