p-value의 진짜 의미

1. 들어가며

가설검정 결과를 보고 "p-value가 0.03이니까 통계적으로 유의미하다", 혹은 "p-value가 0.07이라 아쉽게 유의하지 않다"는 말을 많이 들어봤을 것이다. 하지만 이때 자주 등장하는 질문이 있다:

• p-value가 0.03이면, 가설이 맞을 확률이 97%라는 뜻인가요?
• p-value가 0.05보다 작으면, 대립가설이 맞다는 뜻인가요?

이 질문들, 모두 틀린 해석이다. p-value는 단순히 어떤 숫자 하나가 아니라, 가설을 검정하는 전체 논리 구조의 일부다.

이번 글에서는 p-value가 정확히 무엇을 뜻하고, 무엇을 뜻하지 않는지, 통계적 사고 방식으로 이해해보자.

2. p-value란 무엇인가?

p-value는 귀무가설이 참이라고 가정했을 때, 지금 관찰된 통계량 이상으로 극단적인 결과가 나올 확률이다.

조금 더 쉽게 말하면:

"귀무가설이 맞다고 가정했을 때, 우리가 얻은 결과가 우연히 나올 수 있는 확률"

 

3. 예제로 직관적으로 이해하기

예를 들어, 동전을 던져 앞면과 뒷면이 정확히 반반인지 확인하고 싶다고 하자.

• 귀무가설(H₀): "이 동전은 공정하다"
• 대립가설(H₁): "이 동전은 앞면이 더 자주 나온다"

동전을 10번 던졌더니 앞면이 9번 나왔다면?
p-value는 "공정한 동전(귀무가설)이었다면, 10번 중 9번 이상 앞면이 나올 확률은?"을 계산하는 값이다.

→ 그 확률이 0.05보다 작으면, "이건 우연이라고 보기엔 너무 희박하니까 귀무가설을 기각하자"고 판단하는 것이다.

4. 중요한 오해들

자주 나오는 잘못된 해석 vs 올바른 해석 을 정리하면 이렇다.

 

잘못된 해석	올바른 해석
p=0.03 → 귀무가설이 맞을 확률이 3%이다	p=0.03 → 귀무가설이 맞다고 가정할 때, 이런 결과가 나올 확률이 3%이다
p < 0.05 → 대립가설이 참이다	p < 0.05 → 귀무가설을 기각할 충분한 근거가 있다
p가 작을수록 가설이 더 "참"이다	p가 작을수록 귀무가설 하에서 결과가 우연일 가능성이 낮다는 뜻이다

 

5. p-value와 유의수준(α)의 관계

• 유의수준(α)은 “이 정도 확률 이하라면 귀무가설을 기각하겠다”는 기준
• p-value는 “실제로 얻은 데이터로 계산한 우연의 가능성”

즉, p-value와 α를 비교해 가설을 채택하거나 기각한다:

• p < α → 귀무가설 기각 (통계적으로 유의함)
• p ≥ α → 귀무가설 채택 (유의하지 않음)

6. p-value는 크기만으로 절대 판단하지 말자

• p = 0.049와 p = 0.051은 숫자상 거의 차이 없지만, 결과 해석은 완전히 다르게 여겨진다. → 기계적으로 판단하면 안 된다.
• 표본이 커질수록 아주 미세한 차이도 p < 0.05가 될 수 있다. → 효과크기(effect size) 도 함께 봐야 한다.
• p-value는 가설의 “진실성”이 아닌 “귀무가설 하의 우연성”을 측정한다.

7. 그렇다면 뭘 보면 좋을까?

p-value 외에도 함께 확인해야 할 것들:

• 신뢰구간(CI): 효과의 범위를 알려준다
• 효과크기(Effect size): 실제로 얼마나 중요한 차이인지
• 검정력(Power): 차이를 발견할 수 있는 능력

이 세 가지가 함께 해석되어야, p-value의 의미도 맥락 속에서 제대로 이해된다.

8. 마치며

p-value는 통계 검정에서 꼭 필요한 도구이지만, 그 자체로는 진실을 말해주지 않는다. 그저 귀무가설 하에서 지금 관찰된 결과가 얼마나 ‘희귀한가’를 말해줄 뿐이다.

“유의하다”는 말이 “중요하다”는 말과 같지 않다. p < 0.05라고 무조건 신뢰하지 말고, 해석의 틀을 잘 이해해야 한다.