신뢰구간의 진짜 의미와 흔한 오해

오늘은 신뢰구간을 왜 제대로 이해해야 하는지부터 짚어보겠습니다.

먼저 도발적인 문장 하나로 시작해볼게요.

95퍼센트 신뢰구간은 참값이 그 안에 있을 확률이 95퍼센트라는 뜻이다.

이 문장, 사실은 틀렸습니다.

놀랍게도 통계를 배운 많은 연구자와 엔지니어도 이렇게 오해하고 있어요.

그림 왼쪽 위 박스를 보세요, 흔한 오해가 정리되어 있습니다.

참값이 이 구간 안에 있을 확률이 95퍼센트다, 라는 생각이죠.

하지만 참값 세타는 고정된 상수입니다.

특정 구간 안에 있거나 없거나, 둘 중 하나일 뿐이에요.

그래서 개별 구간에 확률을 붙이는 것 자체가 불가능합니다.

이제 오른쪽 박스를 보시면 올바른 빈도주의 해석이 나옵니다.

같은 실험을 무한히 반복하면, 그렇게 만든 구간 중 95퍼센트가 참값을 포함한다는 뜻이에요.

여기서 확률의 주체는 참값이 아니라 매번 달라지는 구간입니다.

이건 확률변수인 구간의 장기적 성질을 보장하는 거고요.

네이만이 1937년에 정리한 절차의 신뢰도 개념이죠.

이 오개념이 왜 위험한지 볼까요.

그림 가운데 아래쪽, 오역이 부른 실제 판단 오류 부분을 보세요.

왼쪽은 의학 정책 사례인데요, 신약 효과 CI가 마이너스 0.1에서 2.3이라고 나왔습니다.

이걸 효과 있을 확률 95퍼센트로 오역하면 어떻게 될까요.

0을 포함한다는 건 효과가 없을 가능성도 있다는 핵심 신호인데, 이걸 놓치게 됩니다.

실제로 여러 임상 논문이 이런 식으로 정책에 잘못 반영된 사례가 보고됐어요.

오른쪽 박스는 A/B 테스트 사례입니다.

전환율 상승 CI가 0을 걸치는데도, 매출 오를 확률로 해석해서 기능을 전면 배포하는 실수가 나옵니다.

가운데 아래 공통 뿌리 박스를 보시면, p값 오해와 CI 오해가 같은 뿌리라는 걸 알 수 있어요.

내가 지금 본 이 구간에 확률을 붙이고 싶은 욕구, 그린랜드 외 2016년 논문이 지적한 부분입니다.

그럼 이 레슨은 어떻게 이 오해를 바로잡을까요.

그림 중간 부분, 커버리지 시뮬레이션을 보세요.

참값을 우리가 아는 가상 모집단을 만들고, 표본을 수백 번 뽑아 매번 95퍼센트 CI를 계산합니다.

가운데 그림처럼 참값 세타는 고정돼 있고, 왼쪽 가로선들이 매 실험의 CI입니다.

구간은 매번 위치와 폭이 달라지는 확률변수라는 걸 확인할 수 있어요.

오른쪽을 보시면 참값을 포함한 구간은 약 95퍼센트, 미포함은 약 5퍼센트로 나옵니다.

결국 커버리지가 약 95퍼센트에 수렴하는 걸 눈으로 확인하게 되죠.

마지막으로 그림 맨 아래 결론 박스를 보세요.

주장 가능한 건 절차의 신뢰도, 즉 장기 커버리지 95퍼센트입니다.

주장 불가능한 건 개별 참값이 이 구간에 있을 확률이에요.

말로 하는 암기가 아니라 커버리지 시뮬레이션으로 확인해야 이 오해가 교정됩니다.