MRC Ensemble

이전 글 보기: 의사결정 나무 (Decision Tree) CART 알고리즘 설명 이전 포스팅들에서는 의사결정 나무의 여러 알고리즘과 단점에 대해 정리해보았습니다. 바로 과적합에 취약하다는 점입니다. 이번 포스팅에서는 과적합 문제를 해결하기 위한 방법으로 앙상블 (Ensemble) 알고리즘을 설명하고, 그 종류를 알아보도록 하겠습니다. 앙상블 (Ensemble)을 통일, 조화 를 뜻하는 프랑스어입니다. 주로 음악에서 여러 악기에 협주를 뜻하는 말로 사용됩니다.

앙상블은 조화 또는 통일을 의미합니다. 어떤 데이터의 값을 예측한다고 할 때, 하나의 모델을 활용합니다. 하지만 여러 개의 모델을 조화롭게 학습시켜 그 모델들의 예측 결과들을 이용한다면 더 정확한 예측값을 구할 수 있을 겁니다. 앙상블 학습은 여러 개의 결정 트리(Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법입니다.

데이터의 형태, 중요 관점에 따라 필요한 알고리즘이 선택해야 한다. 개별 알고리즘이 적절하게 조합된다면 단일 알고리즘보다 성능이 향상될 가능성이 높아진다! 이를 통해 편향과 분산이 모두 낮은 모델이 가장 좋은 모델 이라는 것을 알 수 있습니다 . 그중에서도 첫번째 방법인 Voting 방식 은 여러 머신러닝 알고리즘을 같은 데이터 세트에 대해 학습하고 예측한 결과를 투표하여 최종 예측 결과를 선정하는 방식입니다.

XGBoost가 급격히 인기가 높아진 이유는 캐글(Kaggle) 대회에서 유례없는 성공을 거둔 영향이 큽니다. 캐글 대회에서는 참가자들이 최상의 예측을 만들고 상금을 타기 위해 머신러닝 모델을 만드는데요. 다른 모델과 비교할 때 XGBoost가 대회에서 압도적으로 우승을 많이 했다고 합니다. XGBoost에 대해 알아보기 전에 캐글 대회는 도대체 어떤 대회인지부터 살펴보겠습니다.

Machine Reading Comprehension (MRC) is an active field in natural language processing with many successful developed models in recent years. Despite their high in-distribution accuracy, these models suffer from two issues: high training cost and low out-of-distribution accuracy. Even though some approaches have been presented to tackle the generalization problem, they have high, intolerable training costs.