2What — 'p<0.05'라는 문장은 어디에나 있다
3- 논문 결론, 뉴스 기사, 신약 임상시험 승인 서류, 회사의 A/B 테스트 보고서까지
4- 거의 모든 곳에서 "p < 0.05라서 유의하다"는 한 문장이 판단의 근거로 쓰인다
5- 이 숫자 하나로 "효과가 있다/없다", "신약을 승인한다/기각한다"가 갈린다
6- 그만큼 강력한 도구인데, 정작 그 의미를 정확히 아는 사람은 드물다
7Why — 절반 이상이 p값을 오해한다
8- Haller & Krauss(2002)의 조사: 통계학 강의를 듣는 학생은 물론, 가르치는 교수와 연구자조차 과반이 p값의 정의를 틀리게 답했다
9- 가장 흔한 오해: "p = 0.03이면 귀무가설이 참일 확률이 3%다"라는 해석 → 완전히 틀린 말
10- p값은 "가설이 참일 확률"이 아니라 "가설이 참이라고 가정했을 때 지금 같은 데이터가 나올 확률"이다 (조건이 정반대)
11- 비유: "비가 오면 땅이 젖는다"와 "땅이 젖었으면 비가 왔다"는 다르다. p값은 앞 방향인데, 사람들은 뒤 방향으로 읽는다
12Why — 재현위기라는 실제 대가
13- 2010년대 심리학계는 재현위기(replication crisis)를 겪었다
14- Open Science Collaboration(2015)가 유명 논문 100편을 다시 실험한 결과, 원래 유의미(p<0.05)했던 연구 중 약 1/3~절반만 다시 유의미하게 재현되었다
15- 원인의 핵심에 p값 오남용이 있었다: 여러 번 분석해서 p<0.05가 나올 때까지 시도하기(p-hacking), 유의한 결과만 발표하기(출판 편향)
16- 즉 "p<0.05"가 곧 "참인 발견"이라는 착각이 학문 전체의 신뢰를 흔들었다
17How — 이 레슨의 목표
18- 핵심 구분: '통계적으로 유의함(significant)'과 '실제로 참임(true)'은 다르다
19- 유의함은 "우연만으로는 설명하기 어렵다"는 신호일 뿐, "효과가 크다"거나 "확실히 참이다"를 보장하지 않는다
20- 이 레슨을 마치면 여러분은 다음을 할 수 있어야 한다
21 1. p값의 정확한 정의를 조건부 확률 P(\text{데이터} \mid H_0)로 말하기
22 2. "p<0.05"를 봤을 때 무엇을 주장할 수 있고 무엇은 주장할 수 없는지 구분하기
23 3. 뉴스나 보고서의 '유의하다'는 문장을 비판적으로 읽기
24- 통계는 답을 자동으로 찍어주는 계산기가 아니라 불확실성을 다루는 논리다. 그 논리의 출발점이 바로 p값이다.