알고리즘 분류 — 지도(회귀/분류) / 비지도(군집·차원축소·연관분석) / 강화 / 회귀 지표(MAE·RMSE·R²) / 분류 지표(+특이도)
미출제기출 0회분 중 0문항
학습 목표
알고리즘 분류 — 지도(회귀/분류) / 비지도(군집·차원축소·연관분석) / 강화 / 회귀 지표(MAE·RMSE·R²) / 분류 지표(+특이도)
01
알고리즘 분류
머신러닝
지도학습관심변수 y 있음
회귀 (Regression)
y가 연속형(수치)
분류 (Classification)
y가 범주형
비지도학습관심변수 y 없음
군집분석
비슷한 관측치끼리 묶음
차원축소
변수 수 축소·구조 요약
연관분석
함께 발생하는 규칙 발견
강화학습보상(Reward) 기반
시행착오 학습
에이전트가 환경과 상호작용하며 최적 행동 학습
• 분류: 범주가 정해진 자료로 학습해 새 자료의 범주를 예측 — 로지스틱 회귀, 의사결정나무, 인공신경망 등. 비슷한 것끼리 묶는 것은 군집이다 • 다중 회귀분석은 수치를 예측하는 회귀 모형이다(분류가 아니다) • K-평균 군집은 목표변수 없이 쓰는 비지도학습이다 — 미래 값을 예측하는 기법이 아니다
02
회귀 평가지표
예측값 ŷ과 실제값 y의 오차 기반
1오차 지표 — 작을수록 좋음 ↓
MAE
오차 절댓값 평균 · 직관적, 이상값 영향 작음
MAPE
실제값 대비 오차 비율 · y=0이면 주의
MSE
오차 제곱 평균 · 큰 오차에 민감
RMSE
√MSE · 원래 단위로 해석
2설명력 — 클수록 좋음 ↑
R² (결정계수)
모형 설명력 · 1에 가까울수록 좋음
조정 R²
변수 수를 보정한 설명력 · 다중회귀 참고
03
혼동행렬 (Confusion Matrix)
예측 Positive예측 Negative실제 Positive
TP진짜 양성
FN놓친 양성
실제 Negative
FP잘못 경보
TN진짜 음성
정확도
(TP + TN) / 전체
전체 중 맞힌 비율
분자 분모
1이름 읽는 법
True / False
예측이 맞았나
Positive / Negative
무엇으로 예측했나
04
분류 평가지표
지표를 누르면 혼동행렬에서 분자(진한 칸)와 분모(테두리 칸)가 표시됩니다.
예측 Positive예측 Negative실제 Positive
TP진짜 양성
FN놓친 양성
실제 Negative
FP잘못 경보
TN진짜 음성
정확도
(TP + TN) / 전체
전체 중 맞힌 비율
분자 분모
F-베타 점수 — 정밀도와 재현율 가운데 어느 쪽을 더 중요하게 볼지
베타
뜻
β = 1 (F1)
정밀도와 재현율의 조화평균(산술평균이 아니다)
β > 1 (예: F2)
재현율을 더 중요하게 — F2는 재현율을 2배 중요하게 본다
β < 1 (예: F0.5)
정밀도를 더 중요하게 — F0.5는 정밀도를 2배 중요하게 본다
• 정밀도와 재현율이 같으면 F-베타 점수는 베타와 관계없이 그 값이다 • 정밀도와 재현율은 한쪽이 오르면 다른 쪽이 내려가기 쉽다 — 그래서 F 점수로 함께 본다 • 오분류표에서 실제 참이 (a, c), 실제 거짓이 (b, d)로 놓여 있으면 민감도 = a / (a + c) — 실제 참인 줄(또는 칸)의 합으로 나눈다. 정밀도는 예측이 참인 쪽의 합으로 나눈다
행이 예측, 열이 실제인 오분류표(Positive 행 a, b / Negative 행 c, d)에서는 민감도 = a / (a + c), 정밀도 = a / (a + b).
05
ROC 곡선 & AUC
1읽는 법
x축
FPR
y축
TPR (재현율)
좌상단 (0,1)
가까울수록 우수
AUC
곡선 아래 면적 · 1 = 완벽, 0.5 = 무작위
06
이익도표와 Lift
분류 모형이 무작위 선택보다 얼마나 더 잘 찾아내는지 평가
1이익도표 (Gains Chart)
상위 몇 % 타깃에서 실제 양성을 얼마나 포착했는지
2Lift (향상도)
무작위 대비 모형의 향상 정도
Lift > 1 = 무작위보다 좋음
%Captured Response = 해당 집단에서 목표 범주의 빈도 ÷ 전체 목표 범주의 빈도 × 100 — 그 구간이 전체 반응자 가운데 얼마를 잡아냈는지를 나타낸다.
• 자료를 예측 확률이 높은 순서로 등급을 나누어 본다. 좋은 모형은 상위 등급에서 Lift가 높고 등급이 내려갈수록 빠르게 낮아진다 • %Response는 그 등급 안에서 반응자가 차지하는 비율 — %Captured Response(분모가 전체 반응자)와 구분한다
07
군집 평가 — 실루엣 계수
비지도학습(군집화)은 정답이 없어 내부 평가 지표 활용
−1잘못 군집0경계1잘 군집
실루엣 계수
s =b − amax(a, b), −1 ≤ s ≤ 1
a
같은 군집 내 평균 거리
작을수록 좋음
b
가장 가까운 다른 군집과의 평균 거리
클수록 좋음
실루엣 계수는 1에 가까울수록(클수록) 군집화가 잘 된 것이다. 군집분석의 평가 지표이지 회귀 모형이나 연관규칙의 지표가 아니다.
08
과적합 vs 과소적합
과소적합너무 단순 · 높은 편향
적절일반화 잘 됨
과적합학습↑ 검증↓ · 높은 분산
1과적합 방지
교차검증
규제화
가지치기
변수 선택
데이터 증가
과대적합과 과소적합 ★기출
과대적합
과소적합
모습
학습 데이터에는 잘 맞고 새 데이터에서는 성능이 떨어진다
학습 데이터와 새 데이터 모두에서 성능이 낮다
원인
변수가 너무 많아 모형이 복잡 · 학습 데이터가 모집단을 충분히 담지 못함
모형이 너무 단순
편향·분산
편향 낮고 분산 높음 — 데이터의 작은 변화에도 예측이 크게 흔들린다
편향 높음
처방
데이터 늘리기 · 복잡도 낮추기 · 규제 · 조기 종료 · 교차검증
모형을 더 유연하게
• 복잡도를 높일수록 일반화 성능이 항상 좋아지는 것은 아니다 • 가지치기를 하면 과대적합은 줄지만 학습 데이터에 대한 성능은 다소 내려간다 • k-NN은 k가 작을수록 과대적합, 클수록 과소적합 • 범주 불균형 문제: 관심 범주의 사례가 너무 적어 그 범주를 제대로 학습하지 못하는 것 — 과소적합과 다른 말이다
과적합 = 과대적합(같은 말). 조기 종료 = 검증 성능이 더 좋아지지 않을 때 학습을 멈추는 것.
09
교차검증 (Cross-Validation)
학습/평가 데이터를 나눠 일반화 성능을 안정적으로 추정
1홀드아웃
7:3 등 한 번 분할
단순
빠름
2K-폴드
K개로 나눠 1개 검증·나머지 학습 → K번 반복 평균
3층화 K-폴드
각 폴드에 클래스 비율 유지
불균형 대응
4부트스트랩
복원추출로 표본 재구성 — 원 데이터의 약 63.2%가 학습에 포함
→ 13강 배깅의 기반
Split 1검증학습학습학습학습
Split 2학습검증학습학습학습
Split 3학습학습검증학습학습
Split 4학습학습학습검증학습
Split 5학습학습학습학습검증
→ K번의 검증 점수를 평균
• 일반화 = 같은 모집단의 다른 데이터에 적용해도 비슷한 결과가 나오는 성질 • K-폴드는 관측치(행)를 k개 그룹으로 나눈다(변수가 아니다). 모형을 k번 적합한다 • LOOCV = k를 관측치 수 n과 같게 한 K-폴드 • 교차검증은 데이터가 충분하지 않을 때 일반화 성능과 과대적합 여부를 확인하는 데 쓴다. 엔트로피는 데이터를 나누는 방법이 아니다 • 부트스트랩: 크기 d인 자료에서 복원추출로 d개를 뽑을 때, 특정 관측값이 한 번도 안 뽑힐 확률은 (1 − 1/d)ᵈ. 예: 관측치가 2개면 한쪽이 안 뽑힐 확률이 각각 1/4 → 적어도 하나가 안 뽑힐 확률은 1/2
교차검증(= 교차확인, cross-validation)은 통계학뿐 아니라 데이터 마이닝에서도 쓴다.
10
학습·검증·평가 데이터 구분
TrainValidationTest
Train학습
모형 학습
Validation검증
하이퍼파라미터 조정·모형 선택
Test평가한 번만
최종 성능 평가
• 나누는 이유: 주어진 데이터에서만 성능이 좋은 과대적합을 확인하고 일반화 성능을 평가하려고. 학습 데이터 성능이 좋다고 좋은 모형은 아니다 • 가이드 표기: 구축용(training) 50% · 검정용(validation) 30% · 시험용(test) 20% 정도. 정해진 비율은 아니며 학습용에 가장 많이 준다 • 검정용은 과대추정·과소추정을 확인해 모형을 미세조정하는 데 쓴다(최종 평가 전용이 아니다). 시험용은 학습에 쓰지 않는다 • 데이터가 부족하면 구축용·시험용만 나누거나 교차확인을 쓴다 • R의 sample()로 나눌 때 난수 초깃값을 고정하지 않으면 실행할 때마다 분할이 달라진다