[내일배움캠프] TIL 36일차 26.02.26(목)

앙상블은 마법이 아니라 '설계'

많은 입문자가 앙상블(Ensemble)을 단순히 "성능을 높여주는 마법의 도구"로 오해하곤 합니다. 하지만 실전에서의 앙상블은 결정을 안정화하고 리스크를 관리하는 고도의 설계 방식에 가깝습니다.

 

1. 다양성(Diversity)이 분산을 잡는다

혼자서 결정하면 한 편향에 빠지기 쉽다. 하지만 서로 다른 관점을 가진 모델들이 모이면 이야기가 달라다. 앙상블의 핵심은 다양성을 설계하는 것이다. 각 모델이 서로 다른 데이터 부분집합이나 특성을 학습하게 함으로써, 전체 시스템의 **분산(Variance)**을 효과적으로 줄일 수 있다.

2. 상관관계(Correlation)가 낮을수록 단단해진다

비슷한 모델들끼리 모아놓는 것은 의미가 없다. 모두가 똑같은 실수를 한다면 앙상블의 효과는 사라다.

• 상관관계를 낮추는 설계: 모델들이 서로 독립적으로 판단하게 할수록, 즉 오답의 패턴이 서로 다를수록 결과물은 더 안정(Stable)된다.
• 예를 들어, 배깅(Bagging)은 데이터의 샘플링을 다르게 하여 이 상관관계를 끊어낸다.

3. 배깅(Bagging)과 부스팅(Boosting): 설계의 두 축

데이터의 상태에 따라 우리는 설계도를 골라야 합니다.

구분	방식	목적
배깅 (Bagging)	병렬적으로 학습하여 평균을 냄	분산 감소, 과적합 방지
부스팅 (Boosting)	앞 모델의 실수를 다음 모델이 보완함	편향 감소, 성능 극대화

구분	배깅 (Bagging)	부스팅 (Boosting)
학습 방식	병렬(Parallel) - 여러 모델이 동시에 학습	순차(Sequential) - 이전 모델 오차 보완
목표	분산(Variance) 감소 (흔들림↓, 안정성↑)	편향(Bias) 감소 (오차↓, 정밀도↑)
데이터 샘플링	Bootstrap (복원추출)	Residual 기반 반복 학습
모델 간 관계	독립 (각 모델이 별도 학습)	종속 (이전 모델 결과 반영)
대표 알고리즘	Random Forest	AdaBoost, Gradient Boosting, XGBoost, LightGBM, CatBoost
학습 비유	여러 명이 동시에 팀플 수행	한 삶이 오답노트로 점진적 성장

4. 분석가의 나침반: Importance와 Test

모델이 내놓는 결과물만큼이나 중요한 것이 과정에서의 피드백.

• Feature Importance는 '힌트'일 뿐: 이것이 절대적인 진리는 아니다. 모델이 어떤 단서에 의존했는지 보여주는 지표로 삼아 데이터의 특성을 재해석하는 도구로 써야 한다.
• Test 데이터는 '마지막 시험지': 검증 과정에서 오염되지 않은 마지막 시험지는 모델의 범용 성능을 확인하는 유일한 척도다.

---

"세상에 절대적으로 좋은 모델은 없습니다."

데이터의 형태와 비즈니스 목적에 맞춰 최적의 설계도를 고르고, 모델들의 목소리를 조율하는 사람이야말로 진정한 분석가라고 생각한다.