최소제곱법은 왜 쓸까?

# 최소제곱법(method of least squares)의 정의

오차를 작게하는데 있어서 모든 점에서 오차의 값을 최소화할 수 없고 오차의 크기를 "전체적"으로 작게 하는 방법을 선택하여야 한다. 이러한 방법들중 가장 널리 사용되는 것은 각 오차의 제곱의 합을 최소로 하는 회귀식을 구하는 방법으로 최소제곱법을 많이 사용한다.

## 정규방정식

위의 식을 β0, β1에대해서 각각 편미분 한 후 식을 정리하면 두 식을 얻을 수 있는데 이 두식을 정규방정식이라 한다.

# 최소제곱법의 역사

 최소제곱법은 프랑스의 수학자 르장드르(Legendre)에 의해 1805년에 처음 사용되었다.

# 최소절대편차추정량(Least absolute deviation estimator)

최소제곱법과 다른기준으로 오차에 대해 구하는 방법이다.

최소제곱추정량(Least squares error)(LSE)	최소절대편차추정량(Least absolute deviation estimator) (LAD)
계산이 매우 단순하다.	계산이 생각보다 복잡하다.
이상치(Outlier)가 있는 경우 추정량에 나쁜 영향을 크게 준다.	이상치(Outlier)에 대해 최소제곱추정량보다 덜 영향을 받는다.
옛날부터 보편적으로 가장 많이 사용한다.	컴퓨터의 발달로 생각보다 많이 쓰이기 시작했다.

 

# 가우스-마르코프 정리

회귀모형에서 오차항의 기댓값이 0이고 서로 독립일 때, 최소제곱추정량 hat(beta0) hat(beta1)은 Yi들의 선형함수로 주어지는 beta0, beta1의 불편추정량들 중에서 제일 작은 분산을 갖는다. 즉 hat(beta0) hat(beta1)은 beta0와 beta1의 각각 최량선형불편추정량(best linear unbiased estimator, BLUE)이다. 참고로 BLUE는 OLS(Ordinary LInear squared)와 같은 뜻이다.

 

# 최소제곱추정량에서 얻을 수 있는 몇가지 사실

(1) 잔차의 합은 0이다.

(2) 잔차들의 Xi에 의한 가중합(weighted sum)은 0이다.(위에서 S를 β1으로 미분하면 유도 가능)

(3) 잔차들의 hat(Yi)에 의한 가중합은 0이다.

(4) 적합된 회귀식은 평균점을 지난다.