출처:
1. 설명
유의확률(P-value)이란 귀무가설이 참이라는 가정 하에서 관측한 값보다 극단적인 값을 얻을 확률로 이를 활용해 통계 검정을 수행할 수 있다. p-value가 1종 오류의 상한을 의미하는 유의수준보다 작을 경우 귀무가설을 기각한다.
2. 주의사항
하지만 샘플 수가 늘어날수록 p-value가 작아지는 경향이 있고, p-value 기준으로는 통계적으로 유의한 차이라고 말할 수 있지만 실질적으로 받아들이기 어려운 상황(2천만 명으로 구성된 두 집단 간의 차이가 10명 안팎인데도 p-value가 작은 경우)이 존재할 수 있기 때문에 무조건적으로 신뢰하는 것은 바람직하지 않다.
3. 예시
한 학교에서 10명의 학생을 랜덤추출해 수학 점수를 조사한 결과 평균이 73점이라고 해 보자. 전체 평균이 60점 이상이라는 가정 하에 73점 이상의 학생이 관측될 확률이 p-value이다. 만약 p-value가 굉장히 작다면 (평균이 60점 이상이라는 가정 하에) 73점 이상의 학생이 관측되는 상황은 극히 드문 일인 셈이므로 애초에 전체 평균이 60점보다 낮음을 의심해 볼 수 있다(귀무가설을 기각할 수 있다). 반대로 p-value가 일정 수준 이상으로 크다면 73점 이상의 학생이 관측되는 상황은 (평균이 60점 이상이라는 가정 하에) 흔히 발생할 수 있음을 의미한다. 즉, 평균이 60점보다 낮다고 할 만한 근거를 찾을 수 없어 기존 가정을 고수하게 된다(귀무가설을 기각할 수 없다). 참고로 유의수준이 0.05라면 평균이 60점 이상임에도 아니라고 잘못 판단할 확률을 0.05 이하로 조절할 것임을 의미한다.
cf.) 가설 설정
H0: μ>=60
H1: μ<60
t 통계량 = 73