모수적 방법론, 비모수적 방법론, 모수 추정

모수적(parametric) 방법론이란?

데이터가 특정한 확률분포(ex. 정규분포, 이항분포)를 따른다고 전제한 후, 그 분포의 모수에 대한 검정을 실시하는 방법

비모수적(nonparametric) 방법론이란?

데이터가 특정한 확률분포를 따른다고 전제할 수 없거나 모집단에 대한 정보가 전혀 없을 때 실시하는 방법

특정 확률분포를 가정하지 않고, 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀜

* 기계학습의 많은 방법론은 비모수 방법론에 속함

데이터로 모수를 추정해보자!

데이터의 확률분포를 가정했으면 모수를 추정해볼 수가 있음

잘 알고있는 정규분ㅍ의 경우 모수의 평균과 분산 추정량은 다음과 같음

$$\bar{X} = \frac{1}{N}\sum_{i=1}^{N}{X_i} $$

$$S^2 = \frac{1}{N-1}\sum_{i=1}^{N}(X_i - \bar{X})^2$$

표본분산을 구할 때 왜 N-1로 나누어줄까?
불편(unbiased)추정량을 구하기 위해서이다.
불편의 "편"이란 bias를 의미한다.

bias란? 추정량의 기댓값과 실제 모수와의 차이
즉, 불편추정량이란 기대값이 모수와 동일한 추정량을 의미한다.
표본 분산의 경우 N-1로 나누어주어야 모집단의 분산과 동일해지므로 N-1로 나누어준다.