회귀 모수에 대한 검정: 유의성검정과 p-값

오늘은 회귀 모수에 대한 유의성검정과 p-값에 대해 알아보도록 하겠습니다.

 

유의성검정을 통해 회귀 모수가 통계적으로 유의한 지 검정할 수 있습니다.

 

p-값은 유의 확률이라고도 부르며 가설검정에서 제1종 오류가 발생할 확률, 즉 귀무가설이 맞는데 기각할 확률을 의미합니다.

 

 

유의성검정

---

회귀 분석을 한 뒤 우선적으로 관심을 가져야 할 사항은 회귀 모수 추정값이 통계적으로 유의한 지입니다. 

 

통계적으로 유의하다는 것은 회귀 분석 결과 구한 추정값이 실제로도 의미가 있는 값이고 우연에 의해 구해진 값이 아님을 나타냅니다.

 

회귀 모수 추정치에는 y절편 b₁과 회귀 계수 b₂가 있습니다. 보통 유의성검정 실행 시 회귀 계수 b₂에 더 관심을 갖습니다.

 

회귀 계수 b₂는 변수들 사이에 어떤 관계가 있는 지를 추정한 값이고 유의성검정을 통해 독립변수와 종속변수 사이에 실제로 관계가 존재함을 검정합니다.

 

유의성검정을 실행하기 위해서는 회귀 모수 "β₂ = 0" 혹은  "β₁ = 0"을 귀무가설로 설정해 놓고 가설검정을 실시하면 됩니다.

 

가설검정에 대한 내용은 아래의 링크를 클릭하면 확인하실 수 있습니다.

https://bigdata-doctrine.tistory.com/43

회귀 모수에 대한 검정: 가설검정

 

회귀 모수 추정값에 대한 t-값은 다음과 같은 수식으로 이루어집니다.

귀무가설이 "β₂ = 0" 혹은  "β₁ = 0"이기 때문에 β_k는 지워집니다. t-값은 귀무가설이 참인 경우의 검정 통계량입니다.

 

t-값이 기각역에 위치할 경우 귀무가설을 기각합니다. 귀무가설이 기각될 경우 유의수준이 0.05라고 한다면 5% 유의수준에서 회귀 모수 추정값이 통계적으로 유의하다고 설명할 수 있습니다.

 

 

p-값

---

p-값은 귀무가설이 참이라고 가정할 때, 해당 표본평균값(회귀모수 추정치) 혹은 그보다 더 극단적인 값이 나타날 확률을 의미합니다.

 

따라서 p-값과 유의수준 α를 비교함으로써 귀무가설 기각 여부를 결정할 수 있습니다.

 

p-값이 유의수준 α보다 작다는 것은 유의수준 α에 위치한 임계값보다 극단적인 t-값이 나타났다는 뜻이므로 귀무가설을 기각하게 됩니다.

 

단측검정이냐 양측검정이냐에 따라 하나의 귀무가설에서 여러 p-값이 나올 수 있습니다.

 

보통 회귀 모수 추정값에 대한 유의성검정에서는 양측검정을 사용하기 때문에 이 경우에는 t-분포에서 t-값의 좌우에 위치한 값의 넓이를 계산하여 p-값을 구할 수 있습니다.

t-분포 그래프에서 Critical Value(임계값)의 좌우에 위치한 빨간색+파란색 공간의 넓이가 유의수준 α입니다.

 

그리고, t-value의 좌우에 위치한 파란색 공간의 넓이는 p-값입니다.

 

위의 그림에서 p-값이 유의수준 α보다 작기 때문에, 즉 t-값이 기각역에 위치해 있기 때문에 귀무가설을 기각합니다.

 

---

오늘은 회귀 모수에 대한 유의성검정과 p-값에 대해 알아보았습니다.