빅데이터 분석 3요소(데이터·기술·인력) / 데이터 사이언스 vs 통계학·데이터 마이닝 구분
미출제기출 0회분 중 0문항
학습 목표
빅데이터 분석 3요소(데이터·기술·인력) / 데이터 사이언스 vs 통계학·데이터 마이닝 구분
01
데이터 사이언스란
정의데이터 사이언스
데이터에서 유의미한 인사이트를 도출하고, 이를 비즈니스 전략·의사결정으로 연결하는 융합 학문
포함
통계학
+
수학
+
컴퓨터 공학
+
머신러닝
+
시각화
범위
수집
→
처리
→
분석
→
모델링
→
예측
→
시각화
전반
목적
데이터 기반 의사결정 지원
비즈니스 문제 해결
새 기회 발견
• 데이터 공학·수학·통계학·컴퓨터공학·시각화·해커의 사고방식·해당 분야의 전문 지식을 종합한 학문이다(통계학과 데이터 마이닝 두 가지만 합친 것이 아니다) • 정형 데이터뿐 아니라 다양한 유형의 데이터를 다루며 총체적(holistic) 접근을 한다 • 분석의 정확도만이 아니라 결과를 구현하고 전달하는 것, 소통까지 포함한다. 데이터베이스를 구축하는 것 자체가 목적은 아니다
02
데이터 사이언스 vs 통계학 vs 데이터 마이닝
좁음다루는 범위넓음 →
통계학
정형 데이터 중심, 추론·검정
데이터 마이닝
대량 데이터에서 패턴·규칙 발견
데이터 사이언스
정형+비정형 전반에서 인사이트 도출
분석
+
구현
+
전달
+
전략적 의사결정
03
빅데이터 분석의 3요소
빅데이터3대 요소
인력데이터 사이언티스트
데이터IoT · 폭증
기술처리 · 저장 · AI · BI
04
데이터 사이언스의 구성 영역
데이터 사이언스
1IT 영역데이터 처리
프로그래밍
데이터 엔지니어링
데이터 웨어하우징
고성능 컴퓨팅
2분석적 영역
수학
확률 모델
머신러닝
분석학
3비즈니스 컨설팅 영역
커뮤니케이션
프레젠테이션
스토리텔링
시각화
가트너가 제시한 데이터 사이언티스트의 역량: 데이터 관리 · 분석 모델링 · 비즈니스 분석 · 소프트 스킬 ('조직 관리'는 없다)
05
데이터 사이언티스트의 역량
1하드 스킬 (Hard Skill)
빅데이터 이론·기술
분석 기술 숙련
2소프트 스킬 (Soft Skill)
통찰력
창의적 사고
소통력
시각화·스토리텔링
협력
다분야 협업
하드 스킬과 소프트 스킬 ★기출 반복
구분
내용
하드 스킬
빅데이터에 대한 이론적 지식(분석 이론·기법) · 분석 기술에 대한 숙련(도구로 대용량 데이터 처리)
소프트 스킬
통찰력 있는 분석(창의적 사고·호기심·논리적 비판) · 설득력 있는 전달(스토리텔링·시각화) · 여러 분야 사이의 협력(소통)
• 더 높은 가치와 차별화를 만드는 것은 전략적 통찰력과 관련된 소프트 스킬이다 • 데이터 사이언티스트 = 데이터 해커 · 애널리스트 · 커뮤니케이터 · 신뢰받는 어드바이저의 조합. 가장 중요한 특징으로 호기심을 꼽는다 • 알고리즈미스트는 알고리즘 때문에 부당한 피해를 본 사람을 구제하기 위해 알고리즘을 해석하는 전문가다 — 데이터 사이언티스트가 반드시 겸해야 하는 역할이 아니다
06
데이터 사이언스와 인문학
정의데이터 사이언스
= 과학 + 기술 + 인문학
인문학 역량
문제를 바라보는 관점
비판적 사고
스토리텔링
인문학 열풍의 외부 환경 요인 3가지★기출
1
컨버전스→디버전스
단순 세계화 → 복잡한 세계화
2
생산→서비스
비즈니스 중심의 이동
3
생산→시장 창조
경제·산업 논리의 전환
• 세 가지 변화의 방향: 단순 세계화 → 복잡한 세계화, 제품 생산 → 서비스, 생산 → 시장 창조. 분석 기법의 확대는 이 목록에 없다 • 뛰어난 데이터 사이언티스트는 정량 분석이라는 과학과 인문학적 통찰에 근거한 합리적 추론을 함께 쓴다 • 분석 모델에는 가정과 해석이 들어간다 — 가정이 현실과 어긋나지 않는지 살피고 모델의 능력을 의심한다
07
빅데이터 회의론과 전략 인사이트
!빅데이터 회의론
인프라 중심 투자만으로는 가치 창출 어려움
과거 CRM 도입 실패 경험과 유사
기존 분석 성과를 빅데이터 성공 사례로 포장하는 문제
→✓전략 인사이트
핵심은 데이터 크기가 아니라 전략적 통찰
분석은 비즈니스 핵심 가치와 연결되어야 함
• 데이터가 많다고 좋은 정보가 그만큼 나오는 것은 아니다. 분석을 많이 하는 것보다 사업 성과와 차별화에 대한 전략적 통찰을 주는 분석이 중요하다 • 빅데이터 과제의 가장 큰 걸림돌은 비용이 아니라 분석적 방법과 성과에 대한 이해 부족이다 • 전략적 통찰을 얻으려면: 경쟁의 본질을 보도록 큰 그림을 그리고, 핵심 가치와 관련된 분석 프레임워크·평가 지표를 쓴다. 기존 성과 유지나 업계 따라잡기가 목표가 아니다 • 로직 오류 = 부정확한 가정을 하고 검증하지 않는 것 / 프로세스 오류 = 수집·분석이 늦어 결과를 쓸 수 없게 되는 것 등 • 빅데이터의 궁극적인 목적은 분석에 기초한 전략적 통찰과 가치 창출이다
분석은 경영진이 직관으로 이미 내린 결정을 뒷받침하는 용도가 아니다 — 분석에서 통찰을 얻어 의사결정을 한다. 복잡한 최적화 능력 자체가 가치의 기준인 것도 아니다.