정규화 회귀 / 단순 선형 회귀 헷갈린 부분 정리

정규화 회귀 (Regularized regression)

  : 선형 회귀 계수에 대한 제약 조건을 추가함으로써 과적합 현상을 막는 방법.

 

정규화

  : 벡터의 크기를 최소화하는 것. (놈의 크기를 최소화 하는 것)  ex) 랏소(Lasso), 릿지(Ridge) 회귀모형

 

    벡터의 크기: 놈(norm)

                     컴퓨터는 직접 계산 못하고 벡터로 연산. (행렬 형태로 바꿔서 처리함)

 

과적합

  : 기계학습에서 학습데이터를 과도하게 학습한 것.

 

 

Lasso 회귀모형

  : 가중치의 절대값의 합을 최소화.

 

Ridge 회귀모형

  : 가중치들의 제곱합을 최소화.

 

---

단순선형회귀 헷갈린 부분 정리

 

 

등분산, 이분산

 

귀무가설: 기울기 0

귀무가설을 기각할 수 있어야 해당 모형이 의미 있는 모형이라고 할 수 있다.

 

 

 

 

잔차진단 (plot 함수 사용)

1) 모형의 선형성 / 예측값과 잔차를 비교. 그래프 내에서 서로 붙어 있어야 좋은 모델.

2) 잔차의 정규성 / 잔차가 정규분포를 따른다는 가정이 지켜지고 있는지 확인.

    - 샤피로 검정으로 확인 가능.

      샤피로 검정의 귀무가설: '잔차가 정규분포를 따른다.'

      p-value의 유의수준이 0.05를 넘어서 귀무가설이 귀각되지 않아야 한다......(?)

3) 잔차의 등분산성 / 잔차의 분산이 동일하다는 가정이 지켜지고 있는지 확인.

4) 극단값 / 극단값을 제거해서 더 나은 모델 만들기.