3"95% 신뢰구간(Confidence Interval, CI)은 참값이 그 안에 있을 확률이 95%라는 뜻이다." — 이 문장은 틀렸습니다. 놀랍게도 통계학을 배운 대다수의 연구자·엔지니어조차 이렇게 이해하고 있습니다.
4올바른 정의는 다음과 같습니다:
5- 빈도주의 해석: "같은 방식으로 실험을 무한히 반복하면, 그렇게 만든 구간들 중 95%가 참값을 포함한다"
6- 확률의 주체는 참값(고정된 상수)이 아니라 구간(매번 달라지는 확률변수)입니다
7- 즉 참값 \theta는 특정 구간 안에 "있거나 없거나" 둘 중 하나일 뿐, 확률로 말할 수 없습니다
8Why — 왜 이 오해가 위험한가
9이 오개념은 p-value 오해와 함께 통계학에서 가장 널리 퍼진 오류로 꼽힙니다 (Greenland 외, 2016). 단순한 말장난이 아니라 실제 의사결정을 왜곡합니다:
10- 의학 사례: 신약의 효과 크기 CI가 [-0.1, 2.3]일 때, 이를 "효과가 있을 확률 95%"로 오역하면 0을 포함(효과 없음 가능성)한다는 핵심 신호를 놓칩니다. 실제로 여러 임상 논문이 넓은 CI를 무시하고 "유의미한 효과"로 결론 내려 정책에 영향을 준 사례가 보고되었습니다
11- A/B 테스트 사례: 전환율 상승 CI를 "매출이 오를 확률"로 해석하면, 구간이 0을 걸치는데도 기능을 전면 배포하는 잘못된 판단으로 이어집니다
12- 오해의 뿌리: 우리는 "내가 지금 본 이 구간"에 확률을 부여하고 싶어 하지만, 빈도주의 CI는 절차(procedure)의 장기 성질만 보장합니다 (Neyman, 1937)
13How — 이 레슨이 밝히는 방법
14말로만 하는 정의 암기는 오해를 못 고칩니다. 이 레슨은 커버리지 시뮬레이션으로 직접 확인합니다:
151. 참값을 우리가 아는 가상 모집단을 설정
162. 표본을 수백~수천 번 뽑아 매번 95% CI를 계산
173. 그 구간들 중 실제로 참값을 포함한 비율(커버리지)이 정말 약 95%인지 세어봅니다
184. "확률 95%"의 진짜 의미가 구간이 아니라 반복 절차에 있다는 것을 눈으로 확인합니다
19이렇게 하면 CI를 보고할 때 무엇을 주장할 수 있고(절차의 신뢰도), 무엇을 주장할 수 없는지(개별 참값의 확률)를 정확히 구분하게 됩니다.