좋은 추정량의 성질

* 계량을 시작하는 사람에게 적합한 글입니다. 

좋은 추정량의 성질로는 불편성, 효율성, 일치성이 있다.

불편성은 Bias=E(b_hat)-b
즉 기대값(평균)과 얼마나 차이가 있는가를 나타내는 척도이다.

효율성, Efficiency는 분산이 더 작을수록 더 효율적이라는 것을 뜻한다.
이걸 측정하는 것으로 MSE가 있는데,
MSE(mean square error)= E(b_hat-b)^2 = Bias(b_hat)^2+Var(b_hat)
즉, 약간 biased 하더라도, 분산이 더 작아서(short tail) 전체 분산이 더 작고, 더 효율적일 수 있는 것이다.

그런데, sample 개수가 커지면(Large samle)을 만나면 좋은 추정량의 성질이 바뀐다. 왜냐면 작은 샘플에서는 추정량이 biased 일지언정, 샘플사이즈가 커지면 unbiased가 되기 때문이다. 이건 중심극한정리 때문에 가능한데, 동일한 확률분포를 가진 독립 확률 변수 n개의 분포는 n이 충분히 크다면 정규분포에 가까워진다는 정리이다.

Large sample에서의 효율성을 일치성, consistency이라고 한다. Consistency는 샘플사이즈가 커질수록 MSE가 작아지는 것(0에 가까워지는 것)을 의미한다. 대강 어떤 개념이냐면, consistent 하다는 것은 샘플 사이즈가 커질수록, 임의적으로 큰 어떤 지점에서 추정량이 collapse 되는 것을 의미한다. 수식으로 표현하면, 샘플사이즈가 커질수록, 모수 b에서 추정량 b_hat을 뺀 것의 절대값이, 0보다 큰 임의의 어떤 수 d 보다 작을 확률이 커진다는 것이다.
lim Prob( |b-b_hat| < d ) = 1