[STARTERS 4기 TIL] #45일차(23.04.10)

---

📚 오늘의  학습

SQL 데이터 분석

① 분석 목적 설정
② 지표 설정 및 분석 계획
③ 데이터 추출/정제/가공/분석 -> BI 도구, Python, R, 스프레드시트 
④ 리포트 작성 및 발표

 

데이터 분석의 다양한 분야와 목적

마케팅, 영업, 유통, 제품 개발, 사용자 경험 설계, 고객 지원, 인적 관리 등
고객의 행동 및 특성 이해, 견적, 성과 예측, 예산 절약, 리스크 관리, 제품 개발, 마케팅 최적화, 이상거래 탐지 등

거의 모든 분야에서 다양한 목적으로 데이터 분석 활용

조직마다 특성, 분석목적이 다르고 데이터도 제각각 → 조직이 속한 산업 분야의 도메인 지식과 데이터의 특성을 이해하는 것이 중요

 

지표 설정 및 분석 계획

· 분석 업무는 질문에서 시작한다.
→ 지난달에 비해 신규 고객이 얼마나 많이 유입되었는가?
→ 월별 판매 추이가 어떠한가?
→ 이탈 고객과 충성 고객의 행동 패턴은 어떠한 차이가 있는가?

≫ 질문에 답하기 위한 분석 지표 설정

· 질문에 답하기 위한 데이터는 어디에서 나오고 어디에 저장되는가? (어떤 데이터를 가져올 것인가?)
→ 데이터 웨어하우스 : 사용자의 의사 결정에 도움을 주기 위하여 기간시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스

 

데이터 종류에 따른 특성

· 업무 데이터 : 갱신형, 정합성, 정확도, 정규화 (기업의 비즈니스 결과로 생성된 데이터)

· 마스터 데이터(정보데이터) : 고객정보, 상품정보, 카테고리 정보 등

· 트랜잭션 데이터(행동데이터) : 구매, 배송, 리뷰작성 등

  트랜잭션 데이터 분석을 위해서는 마스터 데이터와 조인이 이뤄지게 된다.

· 로그 데이터 : 누적형 

  사용자의 접속시간, 클릭이벤트, ip, 기기, 세션 등의 정보를 저장한 데이터
  사용자 행동 분석을 통해 웹/앱의 ui/ux 개선하고자 할 때 주로 사용
  정확도는 업무데이터에 비해 낮음 (크롤러의 로그 포함 고려 필요)

 

데이터 분석 과정

· 탐색 : 데이터와 관련된 주제는 무엇인가? 데이터는 어디서 생성되었는가? 저장된 테이블은 무엇인가?
· 프로파일링 : 데이터 정합성, 품질, 분포 등을 파악 (고유값, 개수, 값의 분포/범위, 이상치, 중복값, 결측값 등)
· 정제 : 잘못된 데이터, 불완전한 데이터, 결측값 처리, 형변환
· 셰이핑 : 분석할 결과 테이블을 만드느 과정 (테이블 조인, 컬럼 선택, 집계 등)
· 분석 : 통계, 시각화 등

 

테이블 관계

ERD 상에 나타난 각 테이블 간의 관계를 표시하는 방법은 아래와 같다.

 

예시

1번	2번
· 하나의 상품에 0~1개의 카테고리 존재 · 하나의 카테고리에 0~N개의 상품이 존재	· 하나의 주문에 0~N개의 주문내역 존재 · 하나의 주문 내역에 1개의 주문 존재

 

속성

기본 속성	· 업무로부터 추출한 속성
설계 속성	· 모델링을 위해 생성된 속성   예) 코드, 일련번호
파생 속성	· 다른 속성으로부터 계산되거나 변형된 속성   예) 총 주문금액, 할인 적용된 금액

 

식별자

대표성 여부	주 식별자	· Primary Key로 지정   예) 사용자id · 유일성, 최소성, 불변성, 존재성(null x)
	보조 식별자	· Unique로 지정  예) 주민번호, 이메일 주소
속성의 수	단일 식별자	· 하나의 속성으로만 이루어진 식별자
	복합 식별자	· 두개 이상 속성으로 이루어진 식별자
스스로 생성 여부	내부 식별자	· 엔티티 내부에서 스스로 만들어지는 식별자
	외부 식별자	· 타 엔티티와의 관계를 통해 타 엔티티로부터 받아오는 식별자
대체 여부	본질 식별자	· 업무에 의해 만들어지는 식별자
	인조 식별자	· 인위적으로 만든 식별자

 

정규화

 

기본 데이터 타입

 

---

💻 오늘의  과제

그룹 과제 - 데이터셋 파악하기

① northwind 데이터셋 개요

전 세계에 식품을 수출하는 가상의 식품회사의 샘플 데이터

 

② ERD 확인하기

위와 같은 경로로 데이터셋의 ERD를 확인할 수 있다.

ERD 우측 화면의 테이블 명을 클릭하면 해당 테이블 영역을 표시해준다.

 

③ 테이블 정보 정리

테이블 목록
테이블명	테이블 설명	데이터 갯수	특이사항
categories	식품 카테고리(이름, 설명, 사진)	8
customer_customer_demo		0	정보 없음
customer_demographics		0	정보 없음
customers	고객 인적사항	91
employee_territories	직원 영역별 id	49
employees	직원 인적사항	9
order_details	주문에 대한 제품 가격, 양, 할인율	2155
orders	주문 날짜와 배송 정보	830
products	제품 정보	77
region	지역	4
shippers	배송 회사	6
suppliers	공급자의 회사와 인적사항	29
territories	각 주의 영역 id와 지역id	53
us_states	각 주의 약자와 지역	51

 

테이블 상세 정보
테이블명	컬럼명	설명	자료형	자리수	디폴트값	null가능여부	null갯수	pk	특이사항
categories	category_id	카테고리 ID	smallint			NO	0	o
categories	category_name	카테고리 이름	character varying	15		NO	0
categories	description	카테고리 설명	text			YES	0
categories	picture	사진	bytea			YES	0		데이터 관측 불가, 결측X
customer_customer_demo	customer_id	고객 ID	character varying	5		NO	0	o	데이터 없음, customers 테이블의 pk 참조
customers	phone	고객 연락처	character varying	24		YES	0		phone의 형식이 서로 다르며, fax와는 동일
customers	fax	고객 팩스번호	character varying	24		YES	22		phone의 형식이 서로 다르며, fax와는 동일
employee_territories	employee_id	직원 ID	smallint			NO	0	o	employees 테이블의 pk 참조
employee_territories	territory_id	영역 ID	character varying	20		NO	0	o	territories 테이블의 pk 참조

 

④ suppliers 테이블 조회하기