실험 설계 평가

여러분, 논문의 실험 섹션을 평가할 줄 아시나요?

실험은 논문의 주장을 뒷받침하는 핵심 증거입니다.

그림 왼쪽을 보시면 의 다섯 가지 요소가 있습니다.

첫째는 명확한 연구 질문, 즉 RQ입니다.

무엇을 검증하려는지 명확해야 실험이 의미가 있어요.

둘째는 공정한 비교 조건으로, 동일한 하드웨어와 데이터를 써야 합니다.

셋째는 재현 가능한 설정이에요.

코드와 데이터가 공개되어야 다른 연구자가 검증할 수 있죠.

넷째는 통계적 유의성 검증입니다.

한 번만 실행한 결과는 우연일 수 있으니까요.

다섯째는 적절한 평가 메트릭 선택입니다.

이제 그림 가운데를 보세요. 가 정리되어 있어요.

논문을 읽을 때 이 다섯 가지 질문을 항상 던져야 합니다.

그림 오른쪽에는 나쁜 실험 설계의 특징이 있습니다.

약한 베이스라인, 비공개 코드, 단일 실행 결과가 대표적이에요.

특히 체리피킹, 즉 유리한 결과만 골라서 보고하는 것은 심각한 문제입니다.

그림 하단을 보시면 놀라운 통계가 있어요.

엠엘 논문의 약 40퍼센트가 실험 설계에 중대한 결함이 있다고 합니다.

Lipton과 Steinhardt가 2019년에 이 문제를 지적했죠.

따라서 실험 설계를 비판적으로 평가하는 능력이 연구자에게 필수적입니다.

이번 레슨에서 그 방법을 체계적으로 배워보겠습니다.