Required Variables Selection | 필수 변수 선택방법

• 필수 변수 선택방법(결국, Regularization 이나 Mutual Information 을 사용하는 이유?)
  • 장점
    • 종속/독립변수간의 대한 관계 이해 증가
    • 과적합방지
    • 예측 Model해석이나 설명력의 증가
  • 방법
    • 필터방법
      • 연관성(영향력)이 적은 변수를 제외한다(독립변수와 종속변수의 연관성)
      • 독립변수간의 연관성 고려를 하지 않는다. 하지만이는 다중공선성 문제 가능
        • 고차원일 경우에는 filter 사용을 추천
    • 래퍼(Wrapper)방법
      • 변수의 일부만 예측Model에 사용 & 성능측정작업 반복후 성능높았던 조합 재택
      • 변수 채택 후 다른변수의 추카/삭제의 경우 예측 Model성능 차이가 날 수 있다
      • 변수끼리의 조합문제로 성능이슈나 과적합 문제 발생 가능하다
    • 임베디드 방법
      • Filter + Wrapper 방법
      • 래퍼 과적합문제 발생시 대안으로 활용 가능
      • L1(라쏘), L2(릿지), 엘라스틱 넷 회귀(L1+L2) 가 있다 

반응형

Regularization | 정규화 - L1, L2, Elastic Net - https://oliverhouse.tistory.com/31