본문 바로가기

AI/Statistics

[통계] 4가지 측정척도, Pearson correlation & Spearman rank correlation
AI/Statistics 2021. 9. 21. [통계] 4가지 측정척도, Pearson correlation & Spearman rank correlation 1. 측정척도 (scale of measurement) 측정하고자 하는 대상(사람,사물,현상)의 특성을 수량화하기 위해 체계적인 단위를 가지고 숫자나 기호를 부여한 것. 데이터를 수집하기 위해서는 데이터 항목별로 적절한 측정척도를 결정해야 한다. 명목척도 nominal scale 특정 범주(category)만을 가리키는 척도로, 숫자의 크기는 의미가 없으며 속성을 숫자로 식별하기 위한 목적으로 사용한다. 남자(0), 여자(1)로 표현 전공구분: 상경계열(0), 공학계열(1), 인문계열(2), 자연과학계열(3) 등 서열척도 ordinal scale 측정 대상의 순서를 나타내기 위한 척도로, 크기 순서대로 서열화가 가능하다. 단, 크기나 정도의 차이는 알 수 없다. 과목 등수: 1등, 2등, 3등,... 하..
[통계] 데이터 전처리 - 여러 가지 feature scaling 방법
AI/Statistics 2021. 9. 19. [통계] 데이터 전처리 - 여러 가지 feature scaling 방법 아래 포스트를 통해 정규화와 표준화가 무엇인지 살펴보았으니, scikit-learn에서의 feature scaling 방법들을 소개해보려 한다. [통계] 정규화와 표준화, Normalization vs Standardization ML을 공부하는 사람이라면 feature scaling이 얼마나 중요한 지 알것이다. scikit-learn에는 많은 스케일링 메서드들이 모듈화 되어있는데, 기본적으로 정규화와 표준화가 무엇인지 이해해야 과제를 수 heeya-stupidbutstudying.tistory.com mglearn 라이브러리는 랜덤한 데이터셋이나 머신러닝 적용 결과를 보기좋게 표현하기 위한 함수들을 생성해준다. mglearn.plots.plot_scaling을 통해 scikit-learn이 제공하는 ..
[통계] 회귀모형의 진단
AI/Statistics 2021. 9. 14. [통계] 회귀모형의 진단 우리는 아래 포스트를 통해 최소제곱법과 회귀분석의 네 가지 기본 가정들을 살펴보았다. 이번 포스트에서는 회귀모형을 진단하는 방법들에 대해 알아보려 한다. [통계] 최소제곱법과 회귀분석의 가정들, 회귀모형 진단 우리는 단순선형회귀와 다중선형회귀에서 최소제곱법을 통해 최소제곱추정치를 제시할 수 있다. 이 포스트에서는 최소제곱법이란 무엇인지 설명하고, 제시된 최소제곱추정량과 통계분석들이 heeya-stupidbutstudying.tistory.com 모형의 진단 회귀분석 결과의 진단(diagnosis)이란 회귀분석에 사용된 데이터가 회귀분석에 사용된 모형 가정을 제대로 만족하고 있는지를 확인하는 과정이다. 우리는 이를 위해 잔차를 사용한다. 종속변수 Y와 p개의 독립변수 \( X_1, X_2, ..., X_3..
[통계] 정규화(Normalization) vs 표준화(Standardization)
AI/Statistics 2021. 9. 14. [통계] 정규화(Normalization) vs 표준화(Standardization) ML을 공부하는 사람이라면 feature scaling이 얼마나 중요한 지 알것이다. scikit-learn에는 많은 스케일링 메서드들이 모듈화 되어있는데, 기본적으로 정규화와 표준화가 무엇인지 이해해야 과제를 수행하기 적합한 방법을 선택할 수 있다. 이 포스트를 기반으로 작성하였다. 정규화 (Normalization) 정규화의 목적은 데이터셋의 numerical value 범위의 차이를 왜곡하지 않고 공통 척도로 변경하는 것이다. 기계학습에서 모든 데이터셋이 정규화 될 필요는 없고, 피처의 범위가 다른 경우에만 필요하다. 위의 표에서의 데이터를 가정해보자. 데이터셋은 나이\( (X_1) \)과 월별 소득\( (X_2) \)의 두 개의 피처로 이루어져 있다. 모든 관측개체를 살피지 않았으나 우리는 나이의..
[통계] F-분포와 분산 분석 ANOVA
AI/Statistics 2021. 9. 14. [통계] F-분포와 분산 분석 ANOVA 회귀분석에서도 머신러닝에서도 학습에 사용할 적절한 특성을 찾는 것은 중요하다. 입력되는 데이터에서 적합한 특성을 찾는 과정을 특성 공학(feature engineering)이라고 하며, 여러 가지 특성들 중에서 학습에 필요한 특성 몇 개를 선택하기도 하고, 특성들을 조합해 새로운 특성을 만들기도 한다. 새로운 특성을 만들게 되면 데이터의 차원은 원본 특성의 수 이상으로 증가하기 쉽다. 하지만 자칫하면 모델이 더 복잡해지고 과대적합되는 결과를 불러오기도 한다. 통상적으로 새로운 특성을 추가할 때나 고차원 데이터셋을 사용할 때, 가장 유용한 특성만 선택하고 나머지는 무시해서 특성의 수를 줄이는 것이 좋다. 그래야 모델이 간단해지고, 일반화 성능도 높아지기 때문이다. 이를 위한 전략 중 하나가 일변량 통계이다..
[통계] 여러가지 분포 - 정규분포, 이항분포, t-분포, 카이제곱-분포
AI/Statistics 2021. 9. 14. [통계] 여러가지 분포 - 정규분포, 이항분포, t-분포, 카이제곱-분포 이 포스트에서는 추후 헷갈리지 않도록 각 분포별 정의와 수식, 특징을 정리해보려고 한다. 1. 정규분포 (normal distribution) 관측된 자료를 이용하여 그린 히스토그램을 경험적 히스토그램(empirical histogram)이라고 부른다. 사실상 대부분의 히스토그램은 단위변환이나 표준화되지 않은 경험적 히스토그램이다. 그렇다면 경험적 히스토그램을 평가하거나 근사시킬 하나의 기준이 있을까? 그 기준 중 하나가 정규분포곡선이다. - 출처: 통계학, 제3판 (류근관 저) 벨기에 수학자 아돌프 케틀레(Adolphe Quetelet, 1796-1874)는 정규분포곡선을 하나의 이상적인 히스토그램으로 생각했고, 실제 자료를 통해 얻어낸 히스토그램을 비교할 하나의 기준으로 정규분포곡선을 이용하였다. 이..
[통계] 최대우도법(Maximum Likelihood Estimation)
AI/Statistics 2021. 9. 10. [통계] 최대우도법(Maximum Likelihood Estimation) 우리는 이 포스트에서 로지스틱 회귀에 대해 살펴보았다. 로지스틱 회귀를 어떻게 적합시킬까? 다른 회귀 모형이 그러하듯 로지스틱 회귀도 모형의 모수를 추정함으로써 적합시킨다. 로지스틱 회귀에서 적합은 로짓을 가지고 이루어진다. 로짓 변환(logit transformation)은 모수에 선형인 모형을 생성하는데, 이를 이용한 추정에 사용되는 방법이 최대우도법이다. 최대우도법은 로지스틱 회귀의 모수를 추정하는 것뿐만 아니라 각종 분포의 모수를 구하는데 고루 쓰인다. 우도(likelihood)란 어떤 일이 발생할 가능성을 말한다. 최대우도법(maximum likelihood estimation; MLE)이란 어떤 확률변수에서 표집한 값들을 토대로 각 가설마다 계산된 우도값 중 가장 큰 값을 고르는 통계적 추정방..
[통계] logistic regression 예제 - 타이타닉 데이터셋
AI/Statistics 2021. 9. 6. [통계] logistic regression 예제 - 타이타닉 데이터셋 타이타닉 데이터 with logistic regression¶ 데이터 출처: https://www.kaggle.com/c/titanic/overview In [1]: import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report In [2]: train = pd.read_csv('titan..

티스토리툴바