[패스트캠퍼스 수강 후기] 데이터분석 강의 100% 환급 챌린지 47회차 미션

2020.09.25

[패스트캠퍼스 수강 후기] 데이터분석 강의 100% 환급 챌린지 47회차 미션

46회차에서는 앙상블의 또다른 종류인 베깅을 이용해서 어떻게 모델 성능을 높일 수 있는지 배웠고 그다음 부스팅으로 넘어와서 그라디언트 부스팅을 배웠다.

 

📎 XGBoost

XGBoost는 그라디언트 부스팅의 부족함을 개선한 버전으로, 그라디언트 부스팅보다 빠르고 성능도 향상되었으나 여전히 학습시간이 매 우느리다. scikit learn 패기키가 아니기때문에 xgboost에서 import를 해줘야한다.

 

from xgboost import XGBRegressor, XGBClassifier 
xgb = XGBRegressor(random_state=42) 
xgb.fit(x_train, y_train) 
xgb_pred = xgb.predict(x_test) 
mse_eval('XGBoost', xgb_pred, y_test)

Learning rate 와 estimator와 같이 튜닝해줘야하는 것은 gradient에서랑 똑같다!

강의 캡처

MSE Error을 출력한걸 보면, XGboost를 사용한 것이 Linear Regression, Poly Elastic Net 이나, Voting, bagging에 속하는 RandomeForest 앙상블보다는 성능이 좋았지만, 그레디언트부스트보다 떨어짐을 알 수 있었다.

 

📎 light GBM

light GBM은 성능도 우수하고 속도도 매우 빠르다. 그래서 데이터분석에서 많이쓰는 부스팅 앙상블 2위로 뽑히지 않았나 싶다..

from lightgbm import LGBMRegressor, LGBMClassifier
lgbm = LGBMRegressor(random_state=42)
lgbm.fit(x_train, y_train)
lgbm_pred = lgbm.predict(x_test)
mse_eval('LGBM', lgbm_pred, y_test)

튜닝값을 변경해보면서 성능좋은 모델값을 만들어야한다.

실습캡처

이번 주어진 데이터로 출력한 MSE error을 보면 LGBM 성능이 다른 Gradient 부스트 앙상블이나 XG보다는 그렇게 좋지는 않았지만, 데이터 처리 속도가 빨랐다.

강의캡처

 

💡오늘 배운 내용 복습

1. XGBoost

2. light GBM

3. Stacking & Weighted Blending

04. Part1 47부터 50번까지 수강완료!✊

https://bit.ly/3imy2uN

직장인을 위한 파이썬 데이터분석 올인원 패키지 Online. | 패스트캠퍼스