사전 점수 결과 연속으로 3주씩 공부하고 시험보려니까 많이 힘들더라구요ㅎㅎ 그래도 이렇게 좋은 결과 볼 수 있어서 보람차더라구요!! 체감 상 빅분기 필기가.. 1, 2, 4과목은 그나마 문제은행식으로 나와서 아 비벼볼만 하겠구나 해서 걱정은 크게 안했는데 3과목이 진자..기출 문제들이 비슷한 문제가 하나도 없었어요.. 그래서 3과목 과락만 면하자 + 나머지를 전체 평균 60점 넘을 수 있게 맞자 라는 마음으로 임했습니당... 운좋게 턱걸이보다 조금 위인 안전빵 아닌 안전빵 점수 맞았네요ㅎㅎ 실기는 지금 하는 바쁜게 끝나면 천천히 마음의 여유를 가지고..준비해 볼 것 같습니다! 공부 방법 및 기간 기본 배경 : 수학과(통계 기초 개념 앎) + SQL 초중급? + ADsP, SQLD가지고 있음 문제집 : 데..
1장. 분석모형 평가 및 개선 1. 분석모형 평가 구축된 분석모형의 유용성 판단, 서로 다른 모형들을 비교 평가 일반화 가능성, 효율성, 예측 & 분류의 정확성으로 구분 3. 혼동 행렬 분류 목적의 머신러닝 모형 성능 평가 시 활용 분류 정확도 평가지표 분류의 예측 범주와 데이터의 실제 분류 범주 활용 오차 행렬이라고도 함 2가지 이상되는 분류 문제에도 적용 가능 Positive/Negative 예측한 값, True/False 예측한 값과 실제 값 비교 정분류율, 오류율, 민감도(재현율), 특이도, 정밀도 실제 T F 예측 T TP FN F FP TN 정밀도 = TP/(TP+FN) → 정확도 민감도(재현율) = TP/(TP+FP) → 완전성, 참긍정률 TPR 특이도 = FN/(FN+TN) → 참부정률 T..
01 분석결과 해석 1. 분석모형 해석 서술적 분석 질문 - 무슨 일 발생? (탐구적 분석, 이상 탐지) 분석 모델링 - 기술통계량, 확률분포, 상관관계, 회귀분석 진단 분석 질문 - 왜, 어떻게 발생?(모델링, 실험) 분석 모델링 - 군집 분석, 요인분석, 다중회귀분석, KNN 예측 분석 질문 - 무슨 일이 일어날까?(예측) 분석 모델링 - 시계열 분석, 의사결정트리, SVM, 앙상블 등 규범 분석 질문 - 최선의 대응?(실시간 대응, 개인화) 분석 모델링 - 시나리오 분석, 몬테카를로 시뮬레이션 등 ▶ 데이터 시각화 Data Visualization : 정보전달과 설득이 목적 시각화 기능 : 설명, 탐색, 표현의 기능 / 크기, 생상, 네트워크, 다중 표현 등을 활용 시각화 요건 : 기능적(원칙) +..
01 분석모형 평가 1. 성능 평가지표 : 분석 모델의 성능은 데이터와 학습 유형에 따라 평가 방식이 달라짐 ▶ 범주형 모델의 성능 평가 : 혼동 행렬을 이용한 평가지표와 ROC 곡선 등 1) 혼동 행렬 Confustion Matrix : 오차 행렬이라고도 함. 모델의 분류 분석 결과를 교차표 형태로 정리한 정오 분류표. 참, 거짓으로 분류하는 모델에 대해 만들 수 있고, 2가지 이상의 분류 문제에도 적용할 수 있음 FP(거짓긍정) : 실제로 거짓 but 모형은 참으로 판단하는 것. 1종 오류 FN(거짓부정) : 실제는 참 but 모형은 거짓으로 판단하는 것. 2종 오류 지표 정분류율 Accuracy : 바르게 분류한 데이터 / 전체 데이터 오류율 Error Rate : 틀리게 분류한 데이터 / 전체 데..
1장. 분석 모형 설계 1. 비지도 학습 : 데이터에 라벨이 붙어 있지 않은 경우. 학습 데이터 X, 입력 데이터 O ① 기존에 알고 있는 네트워크 데이터 패킷들의 문제점 이용해 네트워크 데이터 패킷 문제점 종류 분석 ② 기존 파산회사와 파산하지 않은 회사들의 재정상태 데이터 기반으로 회사 파산 여부 예측 ③ 슈퍼마켓에서 본인과 다른 고객들의 구매이력 바탕으로 할인쿠폰 발행 ④ 문제 발생한 항공기 대상으로 수리 기간 추정(문제 발생 항공기의 문제 발생여부) ⑤ 고객의 과거 거래 구매 패턴 분석해 고객이 구매하지 않은 상품 추천(상품 구매 정보) 3. 머신러닝 지도(분류) 비지도(설명) 강화 분류 - 로지스틱 회귀 - 의사결정 나무 - 서포트 벡터 머신 - 랜덤 포레스트 - K-NN - 인공 신경망 군집화..
01 비정형 데이터 데이터 유형 정형 데이터 : RDBMS, CSV 등 반정형 데이터 : 형태(스키마, 메타데이터 등)가 있고, 연산 불가. 보통 API 형태로 제공. XML, HTML, JSON 등 비정형 데이터 : 형식이 정해지지 않은 데이터. 구조화 형태 다르고 정형화되지 않은 문자, 음성, 이미지 등. 주로 NoSQL에 저장. 소셜 데이터, 영상, 이미지 등 비정형 데이터 종류 : 텍스트, 이미지, 음성 및 영상, 로그 등 분석기법 비정형 데이터 마이닝 - 비정형 데이터를 정형데이터로 만든 후, 분류, 군집화, 회귀분석과 같은 방법론 적용 텍스트 마이닝, 오피니언 마이닝, 사회연결망 분석, 군집 분석 등 02 텍스트 마이닝 1. 텍스트 마이닝 개요 다양한 형태의 문서로부터 텍스트 획득하고, 문서별..
01 딥러닝의 개요 딥러닝 : 인공신경망에 기반한 머신러닝의 한 갈래. 점진적으로 의미있는 표현 배우는데 강점. 데이터로부터 표현을 학습하는 새로운 방식 딥러닝에 잘 맞는 데이터는 비정형 데이터. 인지와 관련된 문제를 잘 해결하는 것으로 알려짐 음성, 이미지 인식과 자연어 처리, 헬스케어 등 다양한 분야에서 활용 딥러닝 알고리즘은 인공신경망부터 시작 → 심층 신경망 기법으로 발전 심층 신경망 방법론 심층 신경망 DNN 합성곱 신경망 CNN 순환 신경망 RNN 생성적 적대 신경망 GAN RBM 등 02 인공신경망 Artificial Neural Network 1. ANN의 개요 신경망 : 뇌 피질 영역에는 수많은 뉴런이 시냅스로 층층이 연결돼 있음. 인간 뇌는 100억 개 뉴런과 6조 개 시냅스의 결합체 ..
01 분류분석 1. 로지스틱 회귀분석 ▶ 반응변수(종속변수)가 범주형일 때 사용하는 회귀분석 모형. 만응변수가 특정 그룹에 속할 확률은 0~1로 예측. 예측 확률에 따라 가능성 높은 그룹으로 분류하는 지도학습 알고리즘 ▶ 원리 반응변수 Y가 범주형일 때, 일반적 선형회귀모형으로는 값을 바로 추정할 수 없음. Y는 0과 1로 구성된 이진형 반응변수이나, 우변의 식은 무한대의 값을 가지기 때문 로지스틱 회귀분석에서는 범주형 변수 Y도 무한대의 값을 지니도록 로짓변환 실시 오즈 Odds : 사건의 실패확률에 대한 성공확률의 비. 0~무한대 사이의 값을 지님 로그 오즈 : 오즈에 로그함수를 적용한 것. -무한대 ~ +무한대의 값. 로짓변환 : 범주형 반응변수를 로그 오즈로 변환하는 것 시그모이드 함수(확률 계산..
01 회귀분석 1. 회귀분석 개념 ▶ 하나 혹은 그 이상의 독립변수가 종속변수에 미치는 영향 추정해 식으로 표현할 수 있는 통계 기법 ▶ 변수 사이 인과관계 밝히고, 모형 적합해 관심있는 변수 예측 or 추론하기 위해 사용 ▶ 적합한 데이터 형태 : 계량형 자료. but 독립변수는 명목척도로 측정된 범주형 자료 가능(더미변수로 변환) ▶ 변수 : 설명, 독립, 예측 변수 / 반응, 종속, 결과 변수 ▶ 가정 독립, 종속변수 간의 선형성 오차의 등분산성 : 오차 분산은 독립변수의 값과 무관하게 일정해야 함 오차의 정규성 : 오차 분포가 정규분포 만족해야 함. 대각방향으로 직선의 형태 오차의 독립성 : 더빈 왓슨 검정 실시. 해당 통계량이 2에 가까울수록 자기상관이 없음(0에 가까우면 양의 상관관계) 오차 ..
