의사결정나무
규칙(if-then)으로 데이터를 나누는 나무 구조
나무는 뿌리마디에서 아래로 자료를 되풀이해 나누는 하향식 재귀 분할로 만든다. 앞에서 나뉜 자료를 다시 나누므로 지금의 분할은 앞 단계 분할의 영향을 받는다. 분류나무는 나눈 뒤 자식 마디의 순수도가 높아지도록(불순도가 낮아지도록) 나눈다.
의사결정나무는 목표변수(정답)가 있는 자료로 학습하는 지도학습 모형이다.
개념을 불러오는 중…
의사결정나무 — 지니·엔트로피, 분석 과정, 가지치기 / 나무 알고리즘 — CART·CHAID·C4.5(정보이득비)
미출제기출 0회분 중 0문항
의사결정나무 — 지니·엔트로피, 분석 과정, 가지치기 / 나무 알고리즘 — CART·CHAID·C4.5(정보이득비)
규칙(if-then)으로 데이터를 나누는 나무 구조
나무는 뿌리마디에서 아래로 자료를 되풀이해 나누는 하향식 재귀 분할로 만든다. 앞에서 나뉜 자료를 다시 나누므로 지금의 분할은 앞 단계 분할의 영향을 받는다. 분류나무는 나눈 뒤 자식 마디의 순수도가 높아지도록(불순도가 낮아지도록) 나눈다.
의사결정나무는 목표변수(정답)가 있는 자료로 학습하는 지도학습 모형이다.
| 기준 | 멈추는 조건 |
|---|---|
| 나무의 깊이 | 정해 둔 최대 깊이에 도달 |
| 마디의 자료 수 | 최소 기준 이하로 줄어듦 |
| 순도 개선 | 더 나누어도 개선 효과가 충분하지 않음 |
• 함정: "정보 이득이 임계값을 초과하면 멈춘다"는 틀린 말 — 개선이 작을 때 멈춘다
• 분리규칙 = 어떤 변수를, 어떤 기준으로 나눌지 정하는 것
• 가지치기를 하면 나무가 얕고 단순해진다. 학습 데이터 정확도는 조금 내려가도 새 데이터에 대한 성능이 좋아진다
• 평가는 이익도표나 검정용 자료(교차타당성)로 한다
끝마디가 가져야 할 최소 관측치 수를 크게 정할수록 분할이 일찍 멈추어 나무는 더 단순해진다.
분류나무 불순도: 지니 불순도(Gini) · 엔트로피(Entropy) · 카이제곱 통계량
불순도 낮음 (순수)불순도 높음 (섞임)
지니 지수
카이제곱 통계량
정보이득비 (Gain Ratio)
| 목표변수 | 분리 기준 | 나누는 방향 |
|---|---|---|
| 이산형 (분류나무) | 카이제곱 통계량 · 지니 지수 · 엔트로피 지수 | 카이제곱의 p-value, 지니, 엔트로피가 작아지는 쪽 |
| 연속형 (회귀나무) | 분산 감소량 · F 통계량 | 분산 감소량이 커지는 쪽 |
• 한 범주만 있는 순수한 마디는 지니 지수 = 0, 엔트로피 지수 = 0
• 범주가 둘일 때 엔트로피는 반반(0.5씩) 섞였을 때 가장 크다
• 정보 이득 = 나누기 전 엔트로피 − 나눈 뒤 엔트로피
• 계산 예: Good 20개 · Bad 30개인 마디 → 1 − (0.4² + 0.6²) = 0.48
• 가이드는 C4.5의 분리 기준을 엔트로피 지수로 적는다(정보이득비도 엔트로피로 계산한다)
• 퍼셉트론은 신경망의 용어다 — 나무의 분리 기준이 아니다
• 선형성·정규성·등분산성 같은 가정이 필요 없다
• 한 변수와 상관성이 높은 불필요한 변수가 있어도 크게 영향을 받지 않는다
• 아래 마디로 내려갈수록 불순도는 낮아진다
• 연속형 변수를 구간으로 잘라 다루므로 분류 경계선 부근의 자료에서 오차가 크다
나무가 깊어지고 끝마디가 많아질수록 과대적합 가능성이 커진다.
| 배깅 | 부스팅 | |
|---|---|---|
| 표본 | 복원추출한 부트스트랩 표본 — 같은 자료가 여러 번 뽑히거나 한 번도 안 뽑힐 수 있다 | 앞 모형이 틀린 자료에 더 큰 가중치 (모든 자료가 같은 확률이 아니다) |
| 모형 사이 | 서로 독립 | 앞 모형의 영향을 받는다 |
| 결합 | 범주형은 다수결, 연속형은 평균 | 앞 모형의 오차를 보완하며 순차 결합 |
| 대표 | 랜덤포레스트 | AdaBoost · GBM · XGBoost · LightGBM |
• 개별 모형이 서로 다양해야 효과가 난다 — 모형끼리 상관이 높을수록 효과는 줄어든다
• 예측의 분산을 줄여 일반화 성능이 좋아질 수 있지만, 항상 단일 모형보다 낫다는 보장은 없다
• 이상값에는 강해지는 대신 해석은 어려워진다(기반 모형이 많을수록 더)
• 보팅: 하드 보팅 = 다수결, 소프트 보팅 = 범주별 확률의 평균
• 부스팅은 오버샘플링이 아니다 · 앙상블은 정답이 있는 지도학습
배깅은 기반 분류기로 무엇을 쓰느냐에 따라 성능이 달라진다.
관측치 랜덤(부트스트랩) + 변수 랜덤(매 노드 일부 변수만) · 회귀 = 평균 / 분류 = 다수결
1단계 모델들의 예측값을 2단계 메타모델의 입력으로 사용
노드 수 = 변수 수
패턴 학습 — 층이 깊어지면 딥러닝
예측 값·확률
| 층 | 노드 수 | 덧붙임 |
|---|---|---|
| 입력층 | 입력 변수의 수 | 범주형 변수는 원-핫 인코딩 등으로 숫자로 바꾸어 넣는다 |
| 은닉층 | 정해진 규칙이 없다 — 분석자가 시행착오로 정한다 | 너무 많으면 과대적합, 너무 적으면 과소적합(복잡한 경계를 만들지 못함) |
| 출력층 | 목표변수에 따라 | 연속형 값 하나를 예측하면 1개 |
• 다층 퍼셉트론: 입력층 → 은닉층 → 출력층 한 방향으로 흐르고(피드포워드), 이웃한 층끼리 모두 연결된다
• 가중치 개수는 이웃한 두 층의 노드 수를 곱해 더한다. 입력 20 · 은닉 50 · 출력 3 → 20×50 + 50×3 = 1,150개(편향 제외)
• 가중치의 뜻을 읽기 어려워 변수의 효과나 교호작용을 설명하기 어렵다. R neuralnet()의 일반화 가중치는 로지스틱 회귀계수처럼 해석한다
0 ~ 1확률처럼 해석−1 ~ 10 중심max(0, x)은닉층 · 기울기 소실 완화합 = 1다중분류 출력층 확률| 함수 | 출력 | 쓰임 |
|---|---|---|
| 계단 함수 | 0 또는 1 | 임계값을 기준으로 나눔 |
| 시그모이드 | 0 ~ 1 — 1 / (1 + e^(−a)) | 이진 분류 출력 |
| 쌍곡탄젠트(tanh) | −1 ~ 1 | 은닉층 |
| ReLU | 음수면 0, 양수면 그대로 — max(0, a) | 은닉층 |
| 소프트맥스 | 범주별 확률(합이 1) | 셋 이상 범주 분류의 출력층 |
• 은닉층 없이 입력층이 출력 노드 1개에 바로 연결되고 시그모이드를 쓰면 로지스틱 회귀와 같은 형태다
• 출력층 활성화 함수는 입력 변수가 아니라 목표변수(문제 유형)에 따라 고른다
• 역전파: 출력값과 실제값의 오차를 출력층에서 입력층 방향으로 전달하며 가중치를 조정한다
• 가중치 초깃값에 따라 전역 최적해가 아닌 지역 최적해에 머물 수 있다
은닉층은 비선형 활성화 함수를 써서 입력과 출력 사이의 복잡한 비선형 관계를 학습한다.
학습 중 일부 뉴런을 무작위로 끔
검증 성능이 나빠지면 학습 중단
가중치 크기에 벌점
데이터를 변형해 양을 늘림
역전파 방향 ← sigmoid·tanh 깊은 층
앞쪽 층은 기울기 ≈ 0 → 거의 학습 안 됨 → ReLU로 완화
은닉층을 늘리면 표현할 수 있는 함수는 더 복잡해지지만, 오차를 거꾸로 전달하는 역전파 과정에서 기울기가 점점 작아져 앞쪽 층이 잘 학습되지 않는다.
시점에 따라 연속적, 관측치가 서로 독립이 아님 (통계분석/예측 파트)
| 문제 | 방법 |
|---|---|
| 평균이 일정하지 않다(추세) | 차분 — 현재 값에서 바로 앞 값을 뺀다. 부족하면 한 번 더. 계절성은 계절 차분 |
| 분산이 일정하지 않다 | 변환 — 로그 변환 등 |
• 로그 변환만으로는 추세가 없어지지 않고, 차분으로는 분산을 맞출 수 없다
• 백색잡음은 대표적인 정상 시계열이다
• 대부분의 시계열은 비정상이어서 정상으로 바꾼 뒤 분석한다
시계열을 요인으로 나누어 보고, 평활로 잡음을 줄인다
| 요인 | 뜻 |
|---|---|
| 추세 | 오르거나 내리는 장기적인 경향 |
| 계절 | 고정된 주기로 되풀이되는 변동 |
| 순환 | 알려지지 않은 주기로 나타나는 중장기 변동 — 경기가 좋아졌다 나빠졌다 하는 것 |
| 불규칙 | 위 세 요인으로 설명되지 않는 우연한 변동(잡음) — 원인을 알 수 없다 |
• 평활은 잡음을 줄일 뿐 정상성을 보장하지 않는다 — 단순 이동평균(같은 가중치) · 가중 이동평균(최근 값에 더 크게) · 지수평활(최근일수록 크고 과거로 갈수록 지수적으로 감소)
• 분해에는 요인을 더하는 가법 모형과 곱하는 승법 모형이 있다
• 단순 지수평활은 추세·계절성이 없는 자료에 알맞다. 추세가 있으면 이중 지수평활 같은 확장 방법을 쓴다
과거 값 몇 개를 쓸지
몇 번 차분해 정상화할지
과거 오차 몇 개를 쓸지
| 기호 | 뜻 | 덧붙임 |
|---|---|---|
| p | AR 차수 — 과거 p시점의 값으로 설명 | Zₜ = φ₁Zₜ₋₁ + φ₂Zₜ₋₂ + aₜ 는 AR(2) |
| d | 차분 횟수 — 가장 먼저 정한다 | d = 0이면 ARMA(p, q) · ARIMA(1, 2, 3)은 차분 2번 |
| q | MA 차수 — 현재와 과거의 오차항으로 설명 | Zₜ = aₜ − θ₁aₜ₋₁ 은 MA(1) |
| 모형 | ACF | PACF |
|---|---|---|
| AR(p) | 서서히 감소 | 시차 p 이후 절단 |
| MA(q) | 시차 q 이후 절단 | 서서히 감소 |
| ARMA(p, q) | 서서히 감소 | 서서히 감소 |
• AR · MA · ARMA는 정상 시계열에 쓰는 모형이다. MA는 언제나 정상이고, AR은 조건을 만족해야 정상이다
• ARIMA는 비정상 시계열을 차분해서 다룬다
• p = 0이면 IMA(d, q) — d번 차분하면 MA(q)가 된다 · ARMA(2, 0)은 AR(2)와 같다
ARIMA = AutoRegressive Integrated Moving Average, 자기회귀 누적 이동평균 모형.
시험은 "키워드 → 알고리즘" 매칭이 핵심
장점: 해석 쉬움 · 주의: 과적합
장점: 안정적 · 주의: 해석력↓
장점: 예측력↑ · 주의: 과적합·튜닝
장점: 복잡한 패턴 · 주의: 해석 어려움
장점: 시계열 예측 · 주의: 정상성 확인