본문 바로가기

최소제곱법

[통계] 최대우도법(Maximum Likelihood Estimation)
AI/Statistics 2021. 9. 10. [통계] 최대우도법(Maximum Likelihood Estimation) 우리는 이 포스트에서 로지스틱 회귀에 대해 살펴보았다. 로지스틱 회귀를 어떻게 적합시킬까? 다른 회귀 모형이 그러하듯 로지스틱 회귀도 모형의 모수를 추정함으로써 적합시킨다. 로지스틱 회귀에서 적합은 로짓을 가지고 이루어진다. 로짓 변환(logit transformation)은 모수에 선형인 모형을 생성하는데, 이를 이용한 추정에 사용되는 방법이 최대우도법이다. 최대우도법은 로지스틱 회귀의 모수를 추정하는 것뿐만 아니라 각종 분포의 모수를 구하는데 고루 쓰인다. 우도(likelihood)란 어떤 일이 발생할 가능성을 말한다. 최대우도법(maximum likelihood estimation; MLE)이란 어떤 확률변수에서 표집한 값들을 토대로 각 가설마다 계산된 우도값 중 가장 큰 값을 고르는 통계적 추정방..
[통계] 최소제곱법과 회귀분석의 가정들
AI/Statistics 2021. 9. 6. [통계] 최소제곱법과 회귀분석의 가정들 우리는 단순선형회귀와 다중선형회귀에서 최소제곱법을 통해 최소제곱추정치를 제시할 수 있다. 이 포스트에서는 최소제곱법이란 무엇인지 설명하고, 제시된 최소제곱추정량과 통계분석들이 따르는 회귀분석의 표준적인 가정들을 제시하려 한다. 1. 최소제곱법 (least squares method) 어떤 데이터에 대하여, 회귀방정식을 잘 세우는 것은 곧 종속변수 대 독립변수의 산점도에 있는 점들을 가장 잘 적합(best fit) 혹은 표현하는 직선을 찾는 것과 같다. 이때 '잘 맞는 직선'을 찾기 위한 방법이 최소제곱법이다. 회귀직선이 x를 통해 y를 추정하는데 쓰인다고 하자. 이때 각각의 점에 대응하는 거리는 점으로부터 회귀직선까지의 수직거리, 즉 y축에 따라 측정하는 거리로 정의된다. 수직거리들의 평균을 구할 때 통..

티스토리툴바