거리 측도(유클리드·맨해튼·민코프스키·마할라노비스) + 스케일링 / PCA vs 요인분석 vs MDS / 군집화
미출제기출 0회분 중 0문항
학습 목표
거리 측도(유클리드·맨해튼·민코프스키·마할라노비스) + 스케일링 / PCA vs 요인분석 vs MDS / 군집화
01
거리 측도
유클리드
√Σ(xᵢ − yᵢ)²
직선 거리
맨해튼
Σ|xᵢ − yᵢ|
축을 따라 이동한 합
민코프스키
(Σ|xᵢ − yᵢ|ᵖ)^(1/p)
p=1 맨해튼 · p=2 유클리드 (일반화)
체비쇼프
max|xᵢ − yᵢ|
변수별 차이 중 최댓값
마할라노비스
상관·분산 고려
변수 간 상관·분산을 반영한 거리
• 같은 두 점 사이에서 맨해튼 거리 ≥ 유클리드 거리다. 예: (1, 2)와 (4, 6) → 맨해튼 3 + 4 = 7, 유클리드 √(9 + 16) = 5 • 표준화 거리: 각 변수를 표준편차로 척도 변환한 뒤 유클리드 거리를 구한다 • 마할라노비스 거리: 표준화에 더해 변수 사이의 상관성까지 고려한다 • 표준화 거리와 마할라노비스 거리는 분포를 반영하는 통계적 거리다
02
거리 측도 사용 시 주의점
거리 기반 분석은 변수의 단위·스케일에 민감
두 사람 사이 거리에서 각 변수가 차지하는 몫 (예시)
표준화 전
소득 99%
표준화 후
키 48%소득 52%
키 150~190 소득 0~100,000,000
1해결
범위 큰 변수(소득)가 거리 계산을 지배하지 않도록
표준화 (평균0·표준편차1)
정규화 (0~1)
03
유사도 (Similarity)
피어슨 상관계수
두 수치 변수의 관계
−1 ~ 1
코사인 유사도
두 벡터의 각도 · 같은 방향 1, 직각 0, 반대 −1
−1 ~ 1
자카드 지수
두 집합 유사도 = |A∩B| / |A∪B|
0 ~ 1
• 자카드 지수: 두 집합이 같으면 1, 공통 원소가 없으면 0. 이진형·범주형 자료에 쓴다 — 키·몸무게 같은 연속형 변수의 거리를 재는 방법이 아니다 • 범주형 변수도 알맞은 유사도(자카드 등)를 쓰면 군집분석을 할 수 있다
• 코사인 유사도 = 두 벡터의 내적 ÷ (두 벡터 크기의 곱) = 두 벡터가 이루는 각의 코사인 값 • 자카드 거리 = 1 − 자카드 지수
04
차원 축소 — PCA
주성분분석(PCA): 고차원 → 저차원, 분산 최대 보존
1핵심
주성분
p개 변수 → 서로 직교·상관 0인 새 축
제1주성분
가장 큰 분산 설명
계산
공분산·상관행렬의 고유값·고유벡터
개수 결정
설명 분산 비율
• 주성분 분석은 목표변수 없이 하는 비지도학습이다. 독립변수와 종속변수의 관계를 보는 분석이 아니고, 차원을 줄이는 기법이다 • 주성분끼리는 상관이 없다. 상관 높은 변수들을 주성분으로 바꾸면 다중공선성을 줄일 수 있다 • 공분산행렬을 쓰면 측정 단위에 민감하다 → 척도가 많이 다르면 상관행렬(표준화)을 쓴다. 표준화 전후의 결과는 다르다 • 행렬도(biplot): 화살표가 길수록 분산이 크고, 어떤 주성분 축과 평행할수록 그 주성분에 크게 기여한다. 저차원 그래프로 이상값을 찾는 데에도 쓴다
• 고유벡터가 주성분의 방향, 고윳값이 그 주성분의 분산이다. 고윳값이 큰 순서대로 제1, 제2 … 주성분이므로 마지막 주성분은 고윳값이 가장 작은 방향이다
05
주성분 개수 결정과 결과 읽기
주성분을 몇 개 쓸지 정하고, 출력에서 설명 비율을 읽는다
주성분을 몇 개 쓸지 정하는 방법 ★기출 반복
방법
기준
전체 변이 공헌도(누적 기여율)
주성분들이 설명하는 분산의 누적 비율이 70~90%(또는 85% 이상)가 되는 개수
평균 고윳값
고윳값이 평균 이상인 주성분을 선택 — 상관행렬을 쓰면 고윳값 1 이상
스크리 그림
고윳값이 줄어드는 기울기가 완만해지는 지점에서 1을 뺀 개수
주성분 분석 출력 읽기
항목
읽는 법
Proportion of Variance
그 주성분 하나가 설명하는 분산의 비율 — 뒤로 갈수록 작아진다
Cumulative Proportion
누적 비율. 주성분 2개의 누적이 68.3%면 2차원으로 줄일 때 잃는 정보는 31.7%
주성분의 수
변수가 p개면 주성분은 최대 p개. 출력이 일부 주성분만 보여 주면(누적 비율이 1이 아니면) 보이는 주성분의 개수가 원래 변수의 수는 아니다(표준편차와 분산 비율로 총분산을 역산하면 추정할 수는 있다)
Loadings(적재값)
주성분 = 원래 변수들의 선형결합. 절댓값이 큰 변수가 그 주성분에 크게 기여
• 개수를 정하는 세 방법 가운데 어느 하나가 항상 우수한 것은 아니다 — 종합해 판단한다
06
PCA vs 요인분석 vs MDS
1PCA
변수들의 분산을 최대 보존해 차원 축소
분산 보존
2요인분석 (FA)
관측변수 뒤의 잠재요인 추정
잠재요인
3MDS
객체 간 거리·비유사도를 저차원에 배치
거리 보존
4SOM
신경망 기반으로 고차원을 저차원 지도에 표현
위상 보존
1SOM 함정 ★
비지도학습
정답 없음
경쟁학습
방식
역전파
사용 안 함
위상(topology)
입력 공간의 위상 보존
다차원척도법(MDS)과 자기조직화지도(SOM) 한 걸음 더 ★기출 반복
MDS
SOM
하는 일
개체 사이의 거리(비유사성)로 개체들의 상대적 위치를 저차원에 나타낸다 — 절대적 위치나 집단 구분이 아니다
고차원 자료를 저차원 격자 지도에 배치 — 차원 축소와 군집화를 함께
핵심 기준
stress가 작을수록 적합이 좋다(0.05 이하면 아주 좋음, 0이면 완벽)
입력 벡터와 가장 가까운 경쟁층 뉴런(BMU)이 승자 — 승자와 이웃의 연결 강도만 갱신
구분
계량적 MDS = 구간·비율척도 / 비계량적 MDS = 순서척도
입력층의 뉴런은 경쟁층의 모든 뉴런과 연결(완전 연결)
주의
차원을 줄이면 거리가 완전히 보존되지는 않는다(정보 손실)
역전파가 아니라 전방 패스 한 번 → 빠르다. 노드마다 할당되는 자료 수는 같지 않다
SOM의 위상 보존 = 입력 변수의 위치 관계를 그대로 유지한다는 뜻 — 실제로 비슷한 자료는 지도에서도 가깝게 놓인다.
07
군집화 — 계층적
가까운 관측치를 묶어 덴드로그램 생성
덴드로그램가까운 것부터 차례로 병합
군집 간 거리 재는 법● 중심 연결은 두 중심점 간 거리
군집 간 거리 (연결법)
1단일 연결법
가장 가까운 두 점
2완전 연결법
가장 먼 두 점
3평균 연결법
모든 조합 거리 평균
4중심 연결법
군집 중심점 간 거리
5Ward 연결법
군집 내 제곱합 증가 최소로 병합
• 군집 수를 미리 정하지 않는다 — 덴드로그램을 알맞은 높이에서 잘라 정한다(자르는 선과 만나는 세로선의 수 = 군집 수). 와드 연결법이면 오차제곱합이 크게 늘어나는 지점에서 자른다 • 병합형은 어떤 연결법을 쓰든 군집 간 거리가 가장 가까운 두 군집부터 합친다. 한 번 묶인 개체는 다시 나뉘지 않는다 • 같은 자료·거리·연결법이면 다시 해도 같은 결과가 나온다 • 최단 연결법은 사슬 모양의 군집이 생기기 쉽다 · 와드 연결법은 중심 사이의 거리가 아니라 오차제곱합의 증가량을 본다 • 군집분석은 군집 안은 비슷하게, 군집 사이는 다르게 묶는다. 분류 기준이 미리 없을 때 쓰는 탐색적 기법이다
• 계층적 군집은 상위 군집 안에 하위 군집이 포함되는 중첩 구조다. K-means·K-medoids는 비계층적(분할) 군집이다 • 단일 연결법 = 최단 연결법(고립된 군집을 찾는 데 중점), 완전 연결법 = 최장 연결법 • 중심 연결법에서 두 군집이 합쳐지면 새 군집의 중심은 가중평균으로 구한다. 평균 연결법은 모든 관측치 쌍의 거리를 평균하므로 최단 연결법보다 계산량이 많다 • 자료를 두 집단으로 나누어 각각 군집한 결과가 전체 자료의 결과와 비슷하면 군집이 안정적이라고 본다
08
군집화 — K-means & DBSCAN
K-means · 중심 기반
DBSCAN · 밀도 기반
1K-means
수치형 전용
범주형 → K-modes (최빈값)
혼합형 → K-prototypes ★빈출
2DBSCAN
밀도 기반 · 핵심점·경계점·노이즈(이상치) 구분
minPts
반경
• K-means: 처음에 K개의 관측값을 임의로 골라 중심으로 삼는다 → 각 자료를 가장 가까운 중심에 배정(한 자료는 한 군집에만) → 군집의 평균으로 중심 갱신 → 중심이 변하지 않을 때까지 반복. 그 과정에서 개체는 다른 군집으로 옮겨질 수 있다 • K-means는 군집 내 제곱합을 줄이는 방향으로 학습한다. DBSCAN은 그런 목적함수를 최소화하는 방식이 아니다 • DBSCAN: 밀도 기반. 군집 수를 미리 정하지 않고, 반달 모양 같은 비구형 군집도 찾으며, 밀도가 낮은 곳의 자료는 잡음으로 둔다(계층적 군집이 아니다) • 혼합분포 군집: 확률분포를 가정하는 모형 기반 방법. EM 알고리즘으로 모수를 추정한다(E 단계 = 잠재변수의 기대치 계산, M 단계 = 모수 추정). 군집이 너무 작으면 추정이 어렵고 이상값에 민감하다
• 범주형 변수도 알맞은 유사도(자카드 등)를 쓰면 군집분석을 할 수 있다 • 혼합분포 군집의 대표는 가우시안 혼합 모형(GMM)이며, EM 알고리즘은 초깃값에 따라 결과가 달라질 수 있다
09
K-means 특징과 한계
1장점
직관적·빠름
대용량
비교적 효율적
2한계
k 사전 지정
군집 수를 미리 정해야 함
초기 중심값
에 따라 결과 달라짐
이상값
에 민감
모양
구형에 유리, 복잡한 모양엔 약함
스케일링
거리 기반 → 필요
K-meansVSDBSCAN
중심 기반
기준
밀도 기반
미리 지정 필요
k
불필요
민감
이상치
노이즈로 구분
• 알맞은 k는 k에 따른 집단 내 제곱합 그래프가 꺾이는 지점(엘보)으로 정한다 — 알고리즘이 자동으로 정해 주지 않는다 • 평균을 중심으로 쓰기 때문에 이상값에 민감하다 → 중앙값이나 실제 객체를 중심으로 쓰는 k-중앙값 군집, K-medoids로 보완한다 • 명목형 변수에는 그대로 쓸 수 없다 · 결과는 덴드로그램으로 나타내지 않는다
사전에 주어진 목적이 없으므로 군집 결과를 해석하기 어려울 수 있다.
10
군집화 결과 평가 — 실루엣 계수
정답이 없는 군집화의 품질을 평가
−1잘못 군집0경계1잘 군집
실루엣 계수
s =b − amax(a, b), −1 ≤ s ≤ 1
a
같은 군집 내 평균 거리
작을수록 좋음
b
가장 가까운 다른 군집과의 평균 거리
클수록 좋음
11
추천 알고리즘
사용자에게 관심 콘텐츠·상품을 예측·제안
추천 알고리즘
콘텐츠 기반 필터링
아이템 속성 분석
사용자가 선호한 아이템의 속성과 비슷한 것 추천
협업 필터링행동 데이터로 유사도
사용자 기반
비슷한 사용자가 좋아한 것 추천
아이템 기반
내가 좋아한 것과 비슷한 아이템 추천
1주요 문제
Cold Start
신규 사용자·아이템은 데이터가 없어 추천 어려움
Sparsity
평가가 드문 희소 행렬
12
연관 규칙 분석 — 3대 지표
A → B 규칙 ("A 사면 B도 산다")
지지도 (Support)
P(A∩B) =n(A∩B)n (전체)
A와 B를 함께 산 비율
신뢰도 (Confidence)
P(B|A) =n(A∩B)n(A)
A를 산 사람 중 B도 산 비율
향상도 (Lift)
Lift =Confidence(A→B)Support(B)
= P(A∩B) / {P(A)·P(B)}
지표별로 헷갈리는 점 ★기출 반복
지표
방향을 바꾸면 (A→B ↔ B→A)
두 품목이 독립이면
지지도
그대로
—
신뢰도
달라질 수 있다 (조건부확률이라 분모가 바뀐다)
P(B)와 같다
향상도
그대로
1
계산 예: 전체 100건 가운데 우유만 50건, 커피만 20건, 우유와 커피를 함께 30건 → '우유 → 커피'의 지지도 = 30/100 = 0.3, 신뢰도 = 30/(50 + 30) = 0.375
13
향상도 해석 & 알고리즘
Lift < 1음의 연관 · 함께 구매↓= 1독립Lift > 1양의 연관 · 함께 구매↑
1Apriori 원리
빈발하지 않은 항목집합의 상위 집합도 빈발 불가 → 최소 지지도로 가지치기
2FP-Growth
후보 집합 없이 FP-Tree로 효율 탐색
향상도 읽기 ★기출 반복
향상도
뜻
1보다 크다
양의 상관 — 함께 살 가능성이 높아진다
1
서로 독립 — 연관성이 없다
1보다 작다
음의 상관 — 함께 살 가능성이 낮아진다
Apriori 절차: 최소 지지도를 정한다 → 그 기준을 넘는 개별 품목을 찾는다 → 그 품목들로 2개짜리, 3개짜리 집합을 만들어 가며 기준을 넘는 빈발 항목 집합을 찾는다 → 빈발 항목 집합에서만 규칙을 만든다. (품목이 많은 집합부터 살피는 것이 아니다)
향상도 = P(A∩B) ÷ {P(A) × P(B)} — 분자와 분모를 뒤집지 않는다. 독립이면 P(A∩B) = P(A) × P(B)이므로 향상도가 1이 된다(지지도가 1이 되는 것이 아니다).
14
✏️ 손으로 풀기 — 연관규칙 3지표
거래 1
AB
거래 2
AB
거래 3
AB
거래 4
A
거래 5
C
문제거래 5건에서 규칙 A → B는?
1지지도
힌트 · n(A∩B) / n
정답 보기
3/5 = 0.6
2신뢰도
힌트 · n(A∩B) / n(A)
정답 보기
3/4 = 0.75
3향상도
힌트 · 신뢰도 / Support(B)
정답 보기
0.75 / 0.6 = 1.25
4해석
힌트 · Lift와 1 비교
정답 보기
1.25 > 1 → 양의 연관 ✅
15
연관규칙 분석 장단점
1장점
규칙이 이해하기 쉬움
탐색적 분석에 유용
장바구니·추천에 활용
비목적성
정답변수 X 분석
2단점
계산량 급증
항목이 많으면
규칙 과다
너무 많이 나올 수 있음
낮은 빈도 품목
규칙 발견 어려움
임계값 설정
최소 지지도·신뢰도 필요
• 거래 자료를 따로 변환하지 않고 그대로 쓸 수 있어 계산이 간편하다 • 품목 수가 늘면 계산량이 기하급수적으로 늘어난다 • 품목을 너무 세분화하면 의미 없는 결과가 나온다 · 거래가 적은 품목은 규칙에서 빠지기 쉽다 • 시차 연관분석은 사건이 일어난 순서를 고려한다 — 결과를 원인과 결과의 형태로 해석해 볼 수 있다. 일반 연관규칙은 인과관계를 뜻하지 않는다 • 활용: 상품 진열 · 카탈로그 배열 · 교차 판매
16
3과목 마무리 — R 기초·데이터마트 체크
1R 자료구조
벡터
행렬
배열
데이터프레임
리스트
2데이터 확인
str()
summary()
head()
3결측값
is.na()
na.omit()
na.rm
4데이터 결합
merge()
rbind()
cbind()
5파생변수
생성·변수 변환
6데이터 마트
분석 목적에 맞게 가공된 데이터셋
• rbind()는 행 방향(열 개수가 같아야 한다), cbind()는 열 방향으로 붙이고, merge()는 공통 열(키)을 기준으로 결합한다 • mean(x, na.rm = TRUE)처럼 na.rm을 주어야 결측값을 빼고 계산한다 — 주지 않으면 결과가 NA • str()은 구조와 타입, summary()는 요약 통계량, head()는 앞의 6행