• 다중 회귀 = 독립변수 둘 이상 · 종속변수 하나. 다항 회귀 = 독립변수의 2차 이상 항을 넣어 곡선 관계를 설명 • 회귀계수는 잔차의 제곱합이 가장 작아지도록 하는 최소제곱법으로 추정한다 • 더미변수: 수준이 5개면 더미변수는 4개. 계수는 그 범주의 평균 자체가 아니라 기준 범주와의 차이다. 성별 같은 명목형 변수도 더미변수로 바꾸면 독립변수로 쓸 수 있다
교호작용 — 한 변수의 효과가 다른 변수의 값에 따라 달라지는 것 ★기출
상황
읽는 법
두 집단의 회귀선이 평행
교호작용 없음 — 절편만 다르고 기울기는 같다
두 집단의 회귀선 기울기가 다름
교호작용 있음
모형에 TV×Radio 항이 있고 계수가 양수
TV의 효과가 Radio 값이 클수록 커진다(일정하지 않다)
더미변수만 있고 곱한 항이 없음
이 식만으로는 교호작용을 말할 수 없다
• 회귀식 쓰기: 출력의 (Intercept)가 절편, 변수 옆의 값이 기울기 — 절편 96.04, 기울기 1.97이면 ŷ = 96.04 + 1.97x • 식에 x와 더미변수를 곱한 항이 없으면 x의 기울기는 집단과 관계없이 같고, 더미변수는 절편만 옮긴다
02
선형회귀 4가정
1선형성
x와 y가 선형 관계
확인: 산점도·잔차 plot
2독립성
잔차가 서로 독립 (시계열 위배 가능)
확인: Durbin-Watson
3정규성
잔차가 정규분포 ★
확인: Q-Q plot·왜도
4등분산성
잔차의 분산이 일정 (이분산성 주의)
확인: 잔차 plot
등분산 ✓0 주변에 패턴 없이 흩어짐
이분산 ✗퍼짐이 점점 커짐 (깔때기)
가정이 깨졌는지 확인하는 방법 ★기출 반복
가정
확인 방법
깨진 모습
선형성
잔차도(잔차 vs 적합값)
잔차가 U자 곡선 모양 → 관계가 선형이 아니다
등분산성
잔차도(잔차 vs 적합값)
잔차의 폭이 적합값에 따라 달라짐(깔때기 모양)
정규성
Q-Q 플롯 · 히스토그램 · 샤피로-윌크 · 콜모고로프-스미르노프 · 앤더슨-달링 검정
Q-Q 플롯의 점이 직선에서 벗어남
독립성
더빈-왓슨 검정
잔차에 자기상관
• 독립성은 잔차끼리 독립이라는 뜻이다 — 독립변수끼리 관련이 없어야 한다는 뜻이 아니다 • 최소제곱 회귀(절편 포함)에서 잔차의 평균은 0, 잔차와 독립변수의 상관은 0이다. 잔차와 종속변수는 상관이 있다 • 정규성이 깨졌을 때 상관 높은 변수를 빼는 것은 처방이 아니다(그것은 다중공선성의 처방). U자 잔차에 릿지·라쏘를 쓰는 것도 아니다 • 잔차도 하나로 독립성까지 확정할 수는 없다
03
회귀분석 결과 해석
F검정VSt검정
회귀모형 전체가 유의한가
대상
개별 회귀계수가 유의한가
p-value < 0.05
판단
p-value < 0.05
1함께 보는 값
R²
모형의 설명력 · 1에 가까울수록 좋음
수정 R²
변수 수 보정 설명력 · 다중회귀 참고
잔차
실제값 − 예측값 · 패턴 없어야 좋음
결정계수
R² =SSRSST
= 1 − SSE/SST · 총제곱합 중 회귀제곱합의 비율
R 회귀 출력(summary)에서 읽는 것 ★기출 반복
항목
읽는 법
Estimate
회귀계수 — 다른 변수가 같을 때 x가 1 늘면 y가 평균 얼마나 변하는지
t value
Estimate ÷ Std. Error. 귀무가설은 '회귀계수 = 0'
Pr(>|t|)
0.05보다 작으면 그 변수는 유의
Residual standard error
오차의 표준편차 추정값(= √MSE) · 옆의 자유도 = n − k − 1
Multiple R-squared
모형이 종속변수 변동을 설명하는 비율
F-statistic의 p-value
모형 전체의 유의성
• 관측치 수 n = 잔차 자유도 + 독립변수 수 + 1 (예: 독립변수 5개, 잔차 자유도 41 → 47개) • MSE = SSE ÷ 오차 자유도 — 오차 분산의 불편추정량. R² = SSR ÷ SST • 단순 회귀에서 R²는 x와 y의 상관계수를 제곱한 값이다 • R²는 변수를 추가하면 줄지 않는다 → 다중회귀는 수정 R²를 본다(쓸모없는 변수가 들어가면 수정 R²는 줄 수 있다) • 계수의 크기는 단위에 따라 달라지므로 크다고 중요한 변수가 아니다 — 표준화한 계수로 비교한다 • 계수가 유의해도 인과관계를 뜻하지는 않는다 · 쿡의 거리는 개별 관측치의 영향력(보통 1보다 크면 영향점)
• R²는 0~1 사이의 값이다(−1~1은 상관계수) · SST = SSR + SSE · 총 자유도 = n − 1 • 요약 통계량(사분위수·평균 등)은 각 변수의 분포만 보여 준다 — 변수 사이 관계의 유의성은 검정으로 판단한다 • x와 더미변수를 곱한 항이 없는 모형에서는 x의 효과가 집단과 관계없이 같다
04
다중공선성
정의다중공선성
설명변수들끼리 강한 상관관계가 있는 문제 → 회귀계수 해석이 불안정해지고 표준오차↑
1 · 낮음클수록 의심 ↑10 이상 · 심각
110VIF
1해결 방법
상관 높은 변수 제거
변수 결합
PCA 차원축소
Ridge 회귀
• VIF가 10보다 크면 다중공선성이 심각하다고 본다(VIF는 1 이상) • 다중공선성이 있으면 회귀계수의 표준오차가 커져 유의확률이 높아질 수 있다 • 해결: 상관 높은 변수 제거 · 주성분 분석 · 릿지·라쏘·엘라스틱넷 • 해결이 아닌 것: 독립변수를 더 추가 · 로지스틱 회귀로 바꾸기 · 표본을 늘리면 반드시 사라진다는 생각
05
적합 & 변수 선택
최소제곱법 (OLS)
오차 제곱합 Σ(y − ŷ)² 최소화
이 값을 가장 작게 만드는 회귀계수를 추정
변수 선택
1전진 선택
유의한 변수를 하나씩 추가
2후진 제거
전체에서 불필요한 변수 제거
3단계적 선택
추가·제거 반복
1모형 평가 (변수 수 페널티)
수정 R²
AIC
BIC
변수 선택법 한 걸음 더 ★기출 반복
방법
출발
특징
전진 선택법
상수항만 있는 모형
설명력 좋은 변수부터 추가. 한 번 넣은 변수는 빼지 않는다
후진 제거법
모든 변수를 넣은 모형
가장 유의하지 않은 변수부터 제거. 더 뺄 변수가 없으면 멈춘다(상수항만 남을 때까지가 아니다). 변수가 많으면 쓰기 어렵다
단계적 선택법
전진 선택 + 제거
추가하면서, 중요도가 떨어진 기존 변수는 다시 제거한다
모든 가능한 조합
모든 변수 조합
AIC·BIC 등으로 가장 좋은 모형 선택
• 세 방법이 고르는 모형은 서로 다를 수 있다. 변수를 추가하면 기존 변수의 계수와 유의성도 달라진다 • 변수를 빼면 남은 변수로 다시 적합해 새 계수를 구해야 한다 • 선택 기준 Cp · AIC · BIC는 작을수록 좋다. 벌점은 AIC가 2k, BIC가 k·ln(n)(표본 크기 반영) • 변수는 가능한 한 적게 넣는다 — 많을수록 좋은 모형이 되는 것이 아니다
• 전진 선택법은 변수를 더 추가해도 개선되지 않으면 멈춘다 • R의 step() 함수: direction = "forward"(전진) · "backward"(후진) · "both"(단계적)
06
규제 회귀(정규화 회귀)
목적함수(손실)에 회귀계수 크기 벌점(penalty) 추가 → 과적합 방지
릿지 Ridge · L2둥근 경계 → 0에 가깝게 축소 (0은 아님)
라쏘 Lasso · L1꼭짓점에서 만남 → β₁ = 0 (변수 선택)
1릿지 (Ridge)
L2 (제곱합) · β를 0에 가깝게 축소
2라쏘 (Lasso)
L1 (절댓값합) · β를 0으로 → 변수 선택
3엘라스틱넷
L1 + L2 · 둘을 결합
• 라쏘는 일부 계수를 정확히 0으로 만들어 변수 선택 효과가 있다. 릿지는 0에 가깝게 줄일 뿐 0으로 만들지는 않는다 • 람다(λ)는 벌점의 세기 — 너무 크면 계수가 지나치게 줄어 과소적합이 된다
07
로지스틱회귀
범주형(이진) 분류 — 이름은 회귀지만 분류 모형
시그모이드
π =11 + e⁻ᶻ
z를 0~1 확률로 변환
오즈 (Odds)
Odds =π1 − π
사건 발생 vs 미발생 비
로짓 (logit)
log(오즈) = 선형결합
로그오즈
• 종속변수가 두 범주일 때 쓴다(캠페인 성공 여부 등). 주택 가격 같은 연속형 예측은 선형회귀 • 0/1 자료에 선형회귀를 쓰면 예측값이 0보다 작거나 1보다 클 수 있어 확률로 읽을 수 없다 • 계수는 최대우도추정법으로 추정한다(최소제곱법이 아니다) • 곡선은 계수가 양수면 S자, 음수면 역 S자 · 시그모이드의 출력은 0과 1 사이 • 독립변수는 수치형·범주형 모두 가능하고 정규분포 가정이 필요 없다(정규성·등분산 가정은 판별분석의 것) • 평가는 R²·F-검정이 아니라 이탈도·카이제곱 검정·오분류표로 한다