3과목 데이터 분석의 큰 지도
1장데이터 준비분석할 수 있게 다듬기 - R 기초
- 데이터 마트
- 결측값 처리
- 이상값 검색
2장통계분석숫자로 설명하고 검정하기 - 통계학 개론
- 기술·추론통계
- 가설검정·회귀
- 분산분석·시계열
3장정형 데이터마이닝패턴 찾고 예측하기 - 분류분석
- 군집분석
- 연관분석
출제 기준의 세 부분: R 기초와 데이터 마트(결측값 처리·이상값 검색 포함) · 통계 분석(시계열 예측 포함) · 정형 데이터 마이닝(분류·군집·연관 분석)
개념을 불러오는 중…
데이터 수집 목적의 차이(운영 vs 연구·실험) / AI·머신러닝·데이터마이닝·알고리즘 개념 구분
미출제기출 0회분 중 0문항
데이터 수집 목적의 차이(운영 vs 연구·실험) / AI·머신러닝·데이터마이닝·알고리즘 개념 구분
출제 기준의 세 부분: R 기초와 데이터 마트(결측값 처리·이상값 검색 포함) · 통계 분석(시계열 예측 포함) · 정형 데이터 마이닝(분류·군집·연관 분석)
| 기업 활동·서비스 운영 | 연구·실험(분석 목적) |
|---|---|
| 비즈니스 위해 수집 | 관측·측정·조사로 수집 |
| 규모 크고 복잡 | 가설 검증 위해 통제 |
| 사후 분석 기획 필요 | 사전 계획(표본조사) |
기계가 인간처럼 판단·학습·추론하는 가장 넓은 개념
데이터로부터 학습하는 AI의 한 분야
문제 해결을 위한 단계적 절차
ML에만 속하지 않음 · 정렬·검색도 알고리즘대량 데이터에서 패턴·규칙·가치를 발견하는 분석 영역
데이터분석 중 패턴·지식 발견에 초점데이터 마이닝 추진 5단계 ★기출: 목적 설정 → 데이터 준비 → 데이터 가공 → 기법 적용 → 검증. (준비가 가공보다 먼저다)
| 요약변수 | 파생변수 | |
|---|---|---|
| 뜻 | 수집한 정보를 분석에 맞게 종합한 변수 | 분석자가 특정 조건이나 함수를 적용해 의미를 부여한 변수 |
| 특징 | 여러 모형에서 공통으로 쓸 수 있어 재활용성이 높다 | 주관적일 수 있어 논리적 타당성이 필요하다 |
| 예 | 기간별 구매 금액·횟수 | 키와 몸무게로 계산한 BMI |
결측 포함 레코드 제거
평균·중앙값으로 대치
Hot-deck / Nearest Neighbor·KNN
• 결측값을 0으로 바꾸어 평균을 내는 것은 올바른 처리가 아니다. 대체는 표본 수를 지키기 위한 것이지만 편향이 생길 수 있다
• 완전 분석법: 결측값이 많으면 손실이 크고, 특정 집단에 몰려 있으면 결과가 편향된다. 삭제되는 비율 예: 두 변수의 결측이 각각 10%이고 서로 독립이면 1 − 0.9 × 0.9 = 19%
• 단순확률 대치법은 평균 대치법의 표준오차 과소 추정을 보완한다
• 다중 대치법: 한 번이 아니라 m번 대치해 m개의 완전 자료를 만든다. 순서는 대치 → 분석 → 결합
• R: complete.cases()는 결측값이 없는 행에 TRUE, is.na()는 값이 NA이면 TRUE
결측값은 분석에서 자동으로 빠지지 않는다 — 정보 손실과 편향을 일으키고 분석 속도에도 영향을 주므로 확인해 처리한다(삭제도 처리 방법의 하나다).
• ESD의 기준은 표준편차의 3배다(표준오차가 아니다)
• 처리 방법: 삭제하거나, 평균·중앙값·예측값으로 바꾼다. 절단은 이상값이 든 자료를 삭제하는 것, 조정은 이상값을 상한·하한값으로 바꾸는 것 — 조정이 손실이 적고 설명력이 높다
• 부정 사용 방지·부도 예측처럼 이상값이 찾으려는 대상인 경우에는 제거하지 않는다. 잘못 입력된 자료는 제거한다
이상값은 입력 오류·측정 오류 등 여러 원인으로 생기며, 보통 데이터 전처리 단계에서 찾아 처리한다.
가설 없이 데이터 구조·패턴 탐색(초기 단계)
사전 가설을 통계적으로 확증
정답변수 있음 → 회귀·분류
정답변수 없음 → 군집·연관분석·차원축소