정규화(Regularization)/배깅(Bagging)/부스팅(Boosting)

모델의 성능을 높히는 방법 : 모델의 성능을 향상시키기 위해 정규화와 앙상블(배깅/부스팅) 방법을 살펴봄 1. 정규화(Regularization) : 선형회귀 계수(Weight)에 대한 제약 조건을 추가함으로써 모형이 과도하게 구성되는 것을 방지해주는 방법 : 과최적화는 계수 크기를 과도하게 증가 하는 경향이 있기에, 정규화 방법에서의 제약조건은 일반적으로 계수의 크기를 제한함 : 정규화 방식은 릿지(Ridge) 와 라쏘(Lasso) 2가지 구분됨 릿지(Ridge), L2 규제 𝜆λ=0: 일반적인 선형 회귀모형(OLS) 𝜆λ를 크게 두면 정규화(패널티) 정도가 커지기 때문에 가중치(𝛽𝑖βi)의 값들이 커질 수 없음(작아짐) 𝜆λ를 작게 두면 정규화(패널티) 정도가 작아 지기 때문에 가중치(𝛽𝑖βi)의 값..

2020.12.17