2한 문장 요약
3- 검정력(power) = "실제로 존재하는 차이를, 통계로 실제로 잡아낼 확률"
4- 검정력이 낮은 실험에서 "차이가 없다"는 결과는 대개 차이가 없다는 증거가 아니라, 차이를 찾아낼 능력이 없었다는 고백이다.
5- 기호로 쓰면 딱 한 줄이다. 유도는 필요 없다.
7- 여기서 \beta는 "진짜 있는 차이를 놓칠 확률"이다. 즉 검정력 0.8이면 있는 차이를 10번 중 8번은 잡아낸다는 뜻이고, 나머지 2번은 놓친다.
8WHAT — 검정력은 실험의 '시력'이다
9- 비유: 밤하늘의 희미한 별(진짜 효과)을 관측한다고 하자.
10 - 별의 밝기 = 효과의 크기 (약효가 크면 밝고, 미세하면 어둡다)
11 - 망원경의 구경 = 표본 크기 (사람을 몇 명 모았는가)
12 - 밤하늘의 흔들림·구름 = 데이터의 산포(개인차·측정오차)
13- 맨눈으로 보고 "별이 없네"라고 말하는 것과, 대형 망원경으로 오래 보고 "없네"라고 말하는 것은 무게가 전혀 다르다.
14- 검정력은 곧 내 실험 장비의 시력이다. 시력을 모르면 "안 보인다"는 말의 뜻도 알 수 없다.
15WHY 1 — 좋은 신약이 '효과 없음'으로 폐기된다
16- 상황: 어떤 신약이 실제로 회복률을 10%p 올린다고 하자. 그런데 임상시험에 환자를 20명만 모았다.
17 - 20명으로는 우연의 출렁임이 10%p 차이를 통째로 덮어버린다 → 결과는 "유의하지 않음".
18 - 연구팀은 "이 약은 효과가 없다"고 결론 내리고 개발을 중단한다.
19- 문제의 핵심: 데이터가 말한 것은 "효과가 없다"가 아니라 "이 정도 표본으로는 판단 불가"였다.
20- 실제로 의학·뇌과학 연구 논문들의 평균 검정력이 0.2 안팎(있는 효과를 5번 중 1번만 잡는 수준)에 불과하다는 대규모 조사가 있었다 (Button 외, 2013).
21- 심리학에서도 이미 60여 년 전에 "대부분의 연구가 검정력이 너무 낮다"는 경고가 나왔지만 오래 무시되었다 (Cohen, 1962).
22WHY 2 — 재현위기(replication crisis)의 뿌리
23- 심리학 대표 논문 100편을 다시 실험했더니 약 3분의 1만 같은 결과가 나왔다 (Open Science Collaboration, 2015).
24- 낮은 검정력이 재현 실패를 만드는 이중 함정:
25 1. 놓침: 진짜 효과가 있어도 자주 못 잡는다 → 좋은 발견이 사라진다.
26 2. 과장: 검정력이 낮은데도 운 좋게 "유의"가 뜨려면 그 표본에서 차이가 우연히 크게 부풀려져야 한다. 그래서 살아남아 발표된 효과 크기는 실제보다 과대평가된다.
27- 결과: 논문에는 "놀랍도록 큰 효과"가 실리고, 다른 팀이 따라 하면 재현되지 않는다. 연구 시스템 전체가 거짓 신호를 쌓는다는 지적으로 이어졌다 (Ioannidis, 2005).
28WHY 3 — 검정력은 '실험 전'에 계산해야 한다
29- 실험이 끝난 뒤 계산하는 검정력(사후 검정력)은 결과값을 그대로 되풀이할 뿐이라 거의 쓸모가 없다는 것이 통계학계의 정리된 입장이다 (Hoenig & Heisey, 2001).
30- 반드시 설계 단계에서 다음을 정해두어야 한다.
31 - ① 우리가 놓치면 안 되는 최소한의 의미 있는 차이는 얼마인가
32 - ② 그 차이를 잡으려면 몇 명이 필요한가
33 - ③ 목표 검정력은 얼마인가 (관례적으로 0.8, 즉 놓칠 확률 20% 허용)
34- 이 계산 없이 시작한 실험은, 결과가 어느 쪽으로 나오든 해석할 수 없는 실험이 된다.
35실무에서 바로 쓰는 문장
36- "유의하지 않았다" \neq "효과가 없다". 올바른 표현은 "이 표본 크기로는 효과가 있다고 말할 근거가 부족했다"이다.
37- 남의 논문·보고서를 읽을 때 첫 질문: "이 연구, 몇 명으로 했지? 그 인원으로 잡을 수 있는 최소 효과는 얼마지?"
38- 내 실험을 설계할 때 첫 질문: "내가 놓치기 싫은 차이는 얼마이고, 그걸 잡으려면 표본이 몇 개 필요한가?"
39- 통계학계도 "유의/비유의" 이분법에서 벗어나 효과의 크기와 불확실성을 함께 보라고 권고한다 (Amrhein 외, 2019).
40이 레슨에서 이어서 볼 것
41- 검정력을 결정하는 세 축 — 효과 크기, 표본 크기, 유의수준이 서로 어떻게 맞물리는지
42- 실험 전에 필요한 표본 수를 실제로 뽑아내는 방법