빅데이터의 정의는 세 가지 관점으로 나뉜다 — 규모(일반 DB 소프트웨어로 다룰 수 있는 범위를 넘는 데이터), 기술·아키텍처(저렴한 비용으로 가치를 추출하는 차세대 기술), 현상(양·다양성·속도가 급격히 늘면서 나타난 변화). 용량만 크고 구조가 단순한 데이터를 가리키는 말이 아니다.
02
빅데이터의 특성 — 3V
3V양Volume
양·크기
3V다Variety
다양성
3V속Velocity
속도
+5V정Veracity
정확성
+5V가Value
가치
Visualization(시각화)확장 요소 · 5V에 포함 X
03
빅데이터 출현 배경 — 3분류
빅데이터 출현 배경
1산업계
고객 데이터 축적 → 양질 전환의 법칙 ★키워드 거래 기록 → 연결·활용·분석 비즈니스로 확장
스마트 디바이스
SNS
이커머스
2학계
거대과학 등장 → 거대 데이터 활용 과학 확산
게놈 프로젝트
3기술 발전
CPU·메모리
센서
분산처리·클라우드
데이터·알고리즘 기반 연구
• 배경은 비정형 데이터의 급증이다 — 데이터가 정형화되어 다루기 쉬워졌기 때문이 아니다 • 클라우드 컴퓨팅: 빅데이터 분석에 경제성을 준 결정적 기술 • 맵리듀스: 저렴한 범용 서버 여러 대로 병렬 처리해 대규모 데이터 처리 비용을 줄인다. 정형 데이터 전용도 아니고, 결측치·이상치를 고쳐 주거나 보안을 높여 주는 기술도 아니다 • 사물인터넷(IoT): 빅데이터 관점에서는 '모든 것의 데이터화'
맵리듀스는 관계형 데이터베이스를 기반으로 하지 않는다.
04
빅데이터의 영향 — D·N·A
4차 산업혁명의 기반 기술
DData
데이터 자체
NNetwork
네트워크를 활용한 이동
AArtificial Intelligence
알고리즘 활용 전략
05
빅데이터는 무엇에 비유되는가?
1산업혁명의 석탄·철
산업 발전의 기반 자원
221세기의 원유
가공하면 큰 가치를 만드는 핵심 자원
3렌즈
보이지 않던 현상·패턴을 보게 해 줌
4플랫폼
다양한 서비스·비즈니스가 올라타는 기반
• 렌즈: 구글 Ngram Viewer로 수많은 책 속 표현의 변화를 들여다보듯, 보이지 않던 것을 보게 해 준다 • 플랫폼: 어떤 상품·서비스를 기반으로 다른 이해관계자들이 보완적인 상품과 서비스를 내놓는 생태계 — 빅데이터도 여러 서비스가 올라서는 공동 활용의 기반이 된다
06
빅데이터의 가치와 영향
누구에게 어떤 영향을 주는가
1기업
혁신
경쟁력 제고
생산성 향상
2정부
환경 탐색
상황 분석
미래 대응
3개인
목적에 따른 활용
가치 산정이 어려운 이유 3가지
1데이터 활용 방식의 다양화
2새로운 가치 창출
3분석 기술의 발전
가치를 산정하기 어려운 이유 ★기출
이유
설명
예
데이터 활용 방식
재사용·재조합되어 누가 언제 어디에 썼는지 알기 어렵다
전기차 배터리 정보를 충전소 입지 선정에 다시 활용
새로운 가치 창출
전에 없던 가치를 만들어 낸다
분석 기술의 발전
지금은 가치 없는 데이터도 나중에 분석할 수 있게 된다
• 기업: 혁신 · 경쟁력 제고 · 고객 세분화에 따른 맞춤형 서비스(획일적 서비스가 아니다) • 정부: 환경 탐색 · 상황 분석 · 미래 대응 • 개인: 맞춤형 서비스를 싸게 이용, 기회비용 절약 — 개인도 빅데이터를 활용한다 • 알고리즘을 이해하기 어렵다는 것은 가치 산정이 아니라 데이터 오용·알고리즘 접근권 쪽 문제다
07
빅데이터 활용 기본 테크닉 7가지
연연관규칙학습
함께 발생하는 관계 탐색 (장바구니)
유유형분석
특성에 따라 분류·구분
유유전 알고리즘
최적해를 진화적으로 탐색
기기계학습
학습 데이터 기반 예측
회회귀분석
독립변수–종속변수 관계 파악
감감정분석
글·말 속 긍정·부정 감정 분석
소소셜 네트워크 분석
관계·영향력 분석
질문으로 기법 고르기 ★기출 반복
기법
이런 질문·사례
연관규칙학습
함께 구매되는 상품 조합은? · 시스템 로그에서 침입자 찾기
유형분석(분류)
이 사용자는 어떤 집단에 속하는가? · 신용 우량/불량 판정
유전 알고리즘
시청률을 최대로 하려면 어떤 프로그램을 어느 시간대에? · 응급실 의사 배치 — 최적화. 선택·교배·돌연변이를 본뜬다
기계학습
과거 데이터를 학습해 올해 값을 예측
회귀분석
나이가 구매 차량 유형에 미치는 영향은? · 공부 시간과 성적 — 변수 사이의 관계
감정분석
리뷰가 긍정인가 부정인가 — 문장·단어가 분석 대상
소셜 네트워크 분석
사용자 사이의 관계 · 영향력이 큰 사용자 찾기
• 회귀분석은 독립변수(광고비·매장 면적 등)의 값으로 종속변수(매출액 등)를 예측하는 데에도 쓴다 • 연관규칙학습 = 연관분석 = 장바구니 분석 · 소셜 네트워크 분석 = 사회관계망(사회연결망) 분석
08
데이터 분석 방향 변화
전통적 분석→빅데이터 분석
1
데이터 질 우선→데이터 양 우선
2
표본조사→전수조사
3
사전처리→사후처리
4
인과관계→상관관계
• 표본조사 → 전수조사: 수집·처리 비용이 줄었다(정교한 표본조사가 더 중요해진 것이 아니다) • 질 → 양: 데이터가 많아지면 오류 몇 개는 결과에 큰 영향을 주지 못한다 • 사전처리 → 사후처리: 필요한 것만 미리 정해 모으던 방식(예: 표준화된 문서 서식)에서, 많이 모은 뒤 숨은 정보를 찾는 방식으로 • 인과관계 → 상관관계: '왜'보다 '무슨 일이 일어나는가'를 빠르게 파악
09
위기 요인과 통제 방안
위기 요인통제 방안
사생활 침해개인정보가 원래 목적과 다르게 활용
→
동의제 → 사용자 책임제 전환
책임 원칙 훼손예측만으로 불이익을 줄 위험
→
결과 기반 책임 원칙 고수
데이터 오용잘못된 지표·알고리즘으로 오판
→
알고리즘 접근 허용(알고리즈미스트)
위기 요인 → 사례 → 통제 방안 ★기출 반복
위기 요인
사례
통제 방안
사생활 침해
여행 사실을 SNS에 올렸다가 빈집털이를 당함
동의제 → 책임제 (제공자의 동의가 아니라 사용자의 책임으로). 사전 동의를 더 강화하는 것이 아니다
책임 원칙 훼손
범죄 예측만으로 범행 전에 체포 · 예측만으로 대출 거절
결과 기반 책임 원칙 — 예측이 아니라 실제 행위의 결과에 책임을 묻는다
데이터 오용
잘못된 지표로 낸 분석 결과로 의사결정
알고리즘 접근 허용 · 알고리즈미스트
개인정보 비식별화 기법 ★기출
기법
방법
가명처리
식별 정보를 다른 값으로 바꾼다(다른 정보와 결합하지 않으면 알아볼 수 없게)
총계처리
개별 값 대신 합계·평균 같은 통계값을 쓴다
데이터 마스킹
값의 일부를 가린다
범주화
상세한 값을 넓은 범주·구간으로 바꾼다
미국 FTC의 소비자 프라이버시 보호 권고: 상품 개발 단계부터 프라이버시 보호 방안 적용 · 소비자에게 공유 정보 선택 옵션 제공 · 수집한 정보 내용의 공개와 접근권 부여
• 익명화: 개인을 알아볼 수 없도록 식별 정보를 삭제하거나 다른 값으로 바꾸는 것. 가명처리·총계처리·데이터 삭제·범주화·데이터 마스킹이 그 기법이다 • 알고리즈미스트: 알고리즘의 부작용을 살피고, 알고리즘 때문에 피해를 본 사람을 구제하는 전문가
익명화한 데이터도 다른 정보와 결합하면 다시 식별될 수 있다 — 익명화 기술만으로 사생활 침해를 완전히 막을 수는 없다.