통계2015.02.13 15:46

회귀식의 가설검정(분산분석) 문제풀이를 해보자. 일단 분산분석은 제곱합 계산 때문에 손이 많이 간다. 거기다 회귀분석은 추가로 회귀식까지 구해야 하므로, 문제를 풀기가 짜증난다. 그래서 이전에 회귀분석 문제풀이에서 다루었던 문제를 그대로 다루려고 하는데, 그래도 손이 많이 가기에 한 문제만 다뤄보자.

 

 

 

1. 부모의 키가 클수록 자식의 키도 상대적으로 크다고 하는데, 아버지의 키와 아들의 키를 조사하였더니 아래와 같이 나왔다고 한다. 이 자료를 바탕으로 해서 회귀식을 구하였더니 y()=151.1+0.17x가 나왔다고 한다. 이때 이 회귀식이 유용한지 유의수준 5%에서 검정하고, 추가로 결정계수도 구하시오.

아버지의 키(x):     150     160     170     180     190

    아들의 키(y):     176     179     182     178     185

회귀분석은 회귀식으로 무엇인가를 예측하는 분석인데, 오차가 클 경우에는 회귀식의 정확도가 떨어진다. 그래서 가설검정으로 회귀식이 유용한지를 판단하는데, 귀무가설은 회귀식이 유용하지 않다라고 읽으면 되고, 대립가설은 회귀식이 유용하다라고 읽으면 된다.(기울기=0이면 회귀식이 쓸모가 없으므로)

 

 

 

그럼 검정통계량을 구해야 하는데, 회귀분석은 분산분석으로 검정통계량을 구한다. 그리고 검정통계량 이전에 제곱합을 구해야 하는데, 회귀분석은 회귀제곱합(SSR)과 오차제곱합(SSE)을 구해야 한다. 그런데 제곱합은 공식으로 한 번에 계산하기가 힘들기에, 표를 활용해서 구해보자.

 

그래서 회귀제곱합은 28.9가 나오고, 오차제곱합은 21.1이 나온다. 그럼 이제는 검정통계량을 구할 수가 있는데, 보통 바로 구하지 않고, 먼저 분산분석표를 작성한 다음 구한다.(분산분석에서 자주 사용하는 표) 이 분산분석표를 보면 평균제곱이 있는데, 평균제곱=제곱합/자유도로 구할 수 있다.(평균제곱은 분산이랑 비스무리한 개념인데, 기호는 보통 MS로 표기한다)

 

그래서 회귀평균제곱/오차평균제곱을 하면, 검정통계량인 F값은 4.11이 나온다. 그럼 기각역을 구해보자. 일단 유의수준 α=0.05이고, 자유도는 (1, 3)이다. 해당하는 값을 F분포표()에서 찾으면 10.13이 나오므로, 기각역은 10.13이다.

 

결론을 내보면, 검정통계량이 채택역 안에 위치하므로 귀무가설이 채택된다. 그러므로 이 회귀식은 유용하지 않다는 것을 알 수 있다.

 

 

 

사실 점들이 퍼져있는 모습을 보면 이 회귀식은 유용해 보이지만, 표본의 수가 너무 적기 때문에 정확도가 떨어지는 것이다.(표본의 수가 너무 적어서, 기각역이 크게 나왔다) 그래서 분산분석을 하려면, 표본의 수가 어느 정도 이상은 되어야 한다. 그리고 위의 분산분석표는 아직 완성형이 아니다. 추가로 총제곱합과 총 자유도가 들어가야 하는데, 회귀와 오차의 값을 더해주면 된다. 그래서 완성된 분산분석표는 아래와 같다.

 

 

이렇게 분산분석표가 완성되면 결정계수를 쉽게 구할 수가 있는데, 회귀제곱합/총제곱합으로 구할 수가 있다. 그래서 결정계수는 28.9/50=0.578이 된다. 그런데 수치가 약간 애매하므로 참고할 가치는 없다. 그냥 이렇게 구한다는 것만 알고 넘어가자. 그리고 위에서도 말했듯이 표본의 수가 너무 적기에, 굳이 가설검정과 결정계수를 구하기 이전에, 회귀식의 정확도는 떨어진다고 판단할 수 있다.

 

저작자 표시 비영리 변경 금지
신고
Posted by 나부랭이

댓글을 달아 주세요

  1. 회귀의 자유도는 왜 1인가요?

    2015.02.21 16:25 신고 [ ADDR : EDIT/ DEL : REPLY ]
    • 그건 저도 잘 모르겠네요 ~_~;;

      그런데 아마도 "유도"를 해서, 구한 걸 수도 있습니다.(확실하지는 않습니다)



      일단 "총자유도 = 회귀자유도 + 오차자유도" 이기에,

      회귀자유도 = 총자유도 - 오차자유도 로 구할 수가 있습니다.

      회귀자유도 = n-1 - (n-2)

      회귀자유도 = 1

      2015.02.24 18:03 신고 [ ADDR : EDIT/ DEL ]
    • 지나가는이

      회귀식에 사용된 독립변수의 갯수가 자유도가 되는 것으로 아닌지요?

      2016.06.11 20:58 신고 [ ADDR : EDIT/ DEL ]
    • 잘 모르겠네요~

      2016.06.17 12:19 신고 [ ADDR : EDIT/ DEL ]
  2. oosiht

    회귀식의 가설검정에서 귀무가설 베타1 =/ 0 이면
    지금까지 다른 검정들은 양측검정을 했는데
    회귀분석의 가설검정은 한쪽검정을 하는 이유가 있는지요?

    2015.02.24 18:48 신고 [ ADDR : EDIT/ DEL : REPLY ]
    • 회귀검정은 기본적으로 가설검정의 틀을 사용하지만,

      회귀검정에 맞게 약간 변한 겁니다.

      그래서 다른 가설검정에서 사용하는 ≠와

      회귀검정에서 사용하는 ≠는 서로 의미가 다릅니다.



      일단 다른 가설검정들은, 검정에 있어서 "방향"이 중요합니다.(작은지 아니면 큰지)

      그래서 대립가설을 방향으로 표현합니다.

      μ< 0 ← 0보다 작은지

      μ> 0 ← 0보다 큰지

      μ≠0 ← 큰지 작은지를 모를 때 사용(양측검정)

      여기서 ≠는 큰지 작은지를 모르는 것이기에, 그래서 양측검정을 하는 겁니다.



      반대로 회귀검정은 방향은 필요 없고, 대신에 "기울기가 있는지"가 중요합니다.

      그래서 가설도 기울기의 유무만 확인합니다.(회귀검정에 맞게 약간 변한 겁니다)

      H0: β= 0 ← 기울기가 없는지

      H1: β≠0 ← 기울기가 있는지

      그런데 회귀검정은 방향이 중요하지 않기에, 굳이 양측검정을 할 필요성을 못 느끼는 겁니다.



      이렇게 검정하고자 하는 것이 서로 다르기에, ≠의 의미가 서로 다릅니다.

      다른 가설검정의 ≠: 방향을 모른다는 표현

      회귀분석 검정의 ≠: 기울기가 있다는 표현



      추가로 나중에 분산분석을 할 때도 방향은 중요하지 않습니다.

      대신에 분산분석은 "치우침"이 중요합니다.(제곱합과 평균제곱을 사용하죠)

      그래서 가설도 치우침이 "있는지" 아니면 "없는지"로 표현합니다.

      H0: μ1 = μ2 = μ3 ← (치우침이 없기에) 세 집단의 평균은 같다.

      H1: 적어도 하나는 다르다. ← (치우침이 있기에) 적어도 하나는 다르다.

      이렇게 분산분석도 방향은 중요하지 않기에, 양측검정을 하지 않습니다.

      2015.04.03 12:58 신고 [ ADDR : EDIT/ DEL ]
  3. omg

    정말 나부랭이님 없었으면 이어려운 통계 어떻게 이해했을지 깜깜했네요!!
    정말감사해요

    2015.07.28 11:42 신고 [ ADDR : EDIT/ DEL : REPLY ]
  4. 음미이

    진짜 감사드려요 이해가 너무 잘 되네요

    2017.02.02 17:40 신고 [ ADDR : EDIT/ DEL : REPLY ]
  5. 소현섭

    만약에 MLR 가설 검증을 하게 되면 세개의 요소들(브랜드 이미지,브랜드 이름, 브랜드 명성)
    구매 의도를 검증하고 싶으면
    H0 = B1
    H1 =/ B1
    H2 =/ B2
    H3 =/ B3
    이렇게 하는 건가요?

    2017.02.14 16:24 신고 [ ADDR : EDIT/ DEL : REPLY ]
  6. 비밀댓글입니다

    2017.04.09 14:53 [ ADDR : EDIT/ DEL : REPLY ]
  7. ey

    유의수준 5%하에서 검정을 하는데 F값 찾을때 2.5%에서 찾지 않는건 위에서 말씀하신것처럼 베타=/=0의 의미가 다른 검정과 의미가 다르기때문인건가요? 단순회귀분석할때는 t분포로도 베타를 검정하기도 하잖아요 그때는 기각역을 구할때 2.5%를 기준으로 찾는데, 헷갈려서 여쭤봅니다!

    2017.07.16 16:19 신고 [ ADDR : EDIT/ DEL : REPLY ]
  8. ㅇㅇ

    설명이 명쾌해요~~ 잘 보고갑니다

    2017.09.27 13:00 신고 [ ADDR : EDIT/ DEL : REPLY ]