AI/Machine Learning
2021. 10. 8.
[ML] GBM 알고리즘 및 LightGBM 소개 - 기본구조, parameters
1. 앙상블(Ensemble) - Boosting 머신러닝에서 앙상블 학습이란, 여러개의 다양한 모델의 예측 결과를 결합함으로써 단일 모델보다 신뢰성이 높은 예측값을 얻는 것이다. 캐글이나 데이콘 같은 대회에 참가하다보면 거의 모든 참가자들이 앙상블로 모델을 쌓아 성능을 극대화시키는 모습을 심심치 않게 볼 수 있다. 대표적으로 랜덤 포레스트(random forest)가 있으며, 앙상블 알고리즘을 사용해 단일 결정트리보다 좋은 성능을 내도록 만들어졌다. 이 포스트는 LightGBM을 소개하기 위해 쓰여진 것이므로 GBM이 사용하는 Boosting 학습 유형에 대해 설명할 것이다. 부스팅 알고리즘은 여러 개의 약한 학습기(weak learner)를 순차적으로 학습-예측하는 방식이다. 이때 잘못 예측한 데이터..