해당 시리즈는 데이터분석 준전문가(ADsP) 자격증 공부 내용을 정리합니다.
분석 기획
- 분석 기획: 분석을 수행하기 전 수행할 과제 정의 및 원하는 결과 도출을 위한 방안을 계획하는 것
목표 시점에 따라 분석 기회의 방식은 크게 2가지로 나뉜다.
- 과제 단위: 빠른 해결이 주 목적, 문제 해결에 초점을 맞춘다.
- 마스터플랜 단위: 지속적으로 해결 가능, 문제 파악 및 해결의 정확도에 초첨을 맞춘다.
분석 주제
| 분석 대상 | 분석 방법 | 결론 |
|---|---|---|
| O | O | 최적화 (Optimization) |
| O | X | 솔루션 (Solution) |
| X | O | 통찰 (Insight) |
| X | X | 발견 (Discovery) |
분석 기획 시 고려사항
- 가용 데이터 고려
- 적절한 활용 방안과 유스케이스 검색
- 장애 요소에 대한 사전 계획 수립
분석 과제 발굴
- 하향식 접근법
| 단계 | 태스크 |
|---|---|
| 문제 탐색 단계 | - 비즈니스 모델 탐색 기법 - 분석기회 발굴 및 범위 확장 - 외부 참조 모델 기반 문제 탐색 - 분석 유스케이스 |
| 문제 정의 단계 | 식별된 비스니스 문제를 데이터 문제로 변환하여 과제를 정의 |
| 해결방안 탐색 단계 | 과제 정의 후 어떻게 해결할 것인지 그 방안을 탐색(분석기법, 시스템 등) |
| 타당성 검토 단계 | 경제적 타당성, 기술적 타당성 등을 검토 |
- 상향식 접근법
| 단계 | 태스크 |
|---|---|
| 지도/비지도 학습 | - 지도 학습 - 비지도 학습 |
| 프로토 타입 | 시행착오 해결법 |
분석 프로젝트 관리 방안
분석가의 목표는 단순히 분석의 정확도를 높이는 것뿐만 아니라 원하는 결과를 사용자가 원활하게 활용할 수 있도록 하는 것이다. 따라서 분석가는 데이터 영역과 비즈니스 영역의 중간에서 조율을 수행하는 조정자의 역할을 수행해야 하며, 분석 과제의 속성에 따라 관리 방안을 수립해야 한다.
분석 과제의 5가지 주요 속성은 다음과 같다.
- 데이터의 양: 데이터 양에 따라 분석환경을 결정
- 데이터 복잡도: 데이터 형식에 따라 적용 모델을 결정
- 분석의 속도: 실시간인지 아닌지에 따라 분석 모델을 결정
- 분석 복잡도: 정확도가 높으면서도 해석이 편리한 최적의 모델 탐색
- 정확도 & 정밀도: 모델과 실제 값 간의 차이를 나타내는 정확도와 반복적인 모델 결과값의 편차 수준인 정밀도를 확인
분석 방법론
- 방법론 필요성: 데이터 분석을 효과적으로 기업 내에 정착하기 위함
- 방법론 생성 과정: 개인의 암묵지 -> 조직의 형식지(형식화) -> 회사의 방법론(체계화)
- 방법론 구성요소: 절차, 방법, 도구와 기법, 템플릿과 산출물
방법론 모델
| 모델 이름 | 설명 |
|---|---|
| 폭포수 모델 | 단계를 거쳐 순차적으로 진행하는 방법 |
| 프로토타입 모델 | 일부분 우선 개발 후 사용자의 요구 분석을 통해 개선 작업을 진행하는 방법 |
| 나선형 모델 | 위험요소 사전 제거를 위해 반복하며 점증적으로 개발하는 방법 |
| 계층적 프로세스 모델 | 일반적인 분석 방법론. 단계 > 태스크 > 스텝 구조 |
전통적인 분석 방법론
- KDD 분석 방법론
KDD(Knowledge Discovery in Database)는 데이터로부터 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 데이터 마이닝 프로세스이다.
| 단계 | 설명 |
|---|---|
| 1. 데이터셋 선택 | 분석에 필요한 데이터 선택(타킷데이터 설정) |
| 2. 데이터 전처리 | 잡음, 이상치 등을 파악하여 제거하거나 의미있는 데이터로 재가공 |
| 3. 데이터 변환 | 변수를 생성 및 선택하고 데이터 차원을 축소, 학습/검증용 데이터 분리 |
| 4. 데이터 마이닝 | 분석 목적에 맞는 데이터 마이닝 기법 선택 및 적절한 알고리즘 적용 |
| 5. 해석 및 평가 | 분석 목적과 일치성을 확인하고 평가 |
- CRISP-DM 분석 방법론
CRISP-DM(Cross Industry Standard Process for Ddata Mining)은 KDD와 비슷하나 좀 더 세분화된 방식이다.
| 단계 | 설명 |
|---|---|
| 1. 업무이해 | 업무목적파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립 |
| 2. 데이터 이해 | 초기 데이터 수집, 데이터 탐색, 데이터 품질 확인 |
| 3. 데이터 준비 | 분석용 데이터 선택, 데이터 정제, 데이터 통합, 데이터 포매팅 |
| 4. 모델링 | 모델링 기법 선택, 모델 테스트 계획, 모델 작성, 모델 평가 |
| 5. 평가 | 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가 |
| 6. 전개 | 전개 계획 수립, 모니터인 유지보수 계획 수립, 프로젝트 리뷰 |
빅데이터 분석 방법론
빅데이터 분석 방법론은 완벽한 계층적 프로세스 모델로서 5단계로 구성되어 있다.
| 단계 | 태스크 |
|---|---|
| 1단계: 분석기획 | - 비즈니스 이해 및 범위 설정 - 프로젝트 정의 및 계획 수립 - 프로젝트 위험계획 수립 |
| 2단계: 데이터 준비 | - 필요 데이터 정의 - 데이터 스토어 설계 - 데이터 수집 및 정합성 검정 |
| 3단계: 데이터 분석 | - 분석용 데이터 준비 - 텍스트 분석 - 탐색적 분석 - 모델링 - 모델 평가 및 검증 - 모델 적용 및 운영방안 수립 |
| 4단계: 시스템 구현 | - 설계 및 구현 - 시스템 테스트 및 운영 |
| 5단계: 평가 및 전개 | - 모델 발전계획 수립 - 프로젝트 평가 및 보고 |
분석 마스터플랜
분석 마스터플랜은 특정 분석 프로젝트를 위한 전체 설계도와 같으며, 프로젝트를 시작할 때 우선순위 및 기업 상황을 고려하여 분석 구현 로드맵을 수립한다.