이번 장에서는 여러 가지 확률 분포 모형과 그 성질을 다룬다. 이러한 확률 분포 모형은 추정하고자 하는 모수의 확률 분포를 추정하는 데 핵심적인 역할을 하기 때문에 PRML에 있어서 중요한 주제이다. 크게 parametric, non-parametric distribution으로 나눌 수 있다. 주로 parametric distribution에 대해 다룬다.
2.1. Binary Variables
모 아니면 도의 상황만이 존재할 수 있는 확률 변수를 binary variable이라 한다. 예컨대 동전을 던졌을 때 앞면, 혹은 뒷면만이 나올 수 있는 경우인 것이다. 이는 어떤 사건(e.g. 앞면)이 일어났는지() 일어나지 않았는지()의 문제로 볼 수 있는데, 이로부터 다음과 같은 Bernoulli 분포가 자연스럽게 도출된다.
이러한 Bernoulli 분포의 평균과 분산은 다음과 같으며,
likelihood function은 다음과 같다. 여기에 negative log를 씌우면 바로 binary cross entropy loss가 된다. 이와 같은 likelihood function을 극대화하는 은 다름아닌 표본 평균이다.
하지만 예를 들어 동전을 세 번 던졌는데 우연찮게 모두 앞면이 떴다고 하면, frequentist view에서는 이 되어 버린다. 이는 계속해서 언급했던 maximum-likelihood estimation의 overfitting 문제인데, 이를 해소하기 위해 prior distribution을 도입하는 방법을 잠시 후에 다룬다.
또 역시 이러한 binary variable에 대해서, 번의 시행 중 인 시행의 수 에 대한 확률 분포를 생각해볼 수 있다. 이를 binomial distribution이라 한다. 의 평균 및 분산은 Bernoulli 분포에서의 평균 및 분산에 을 곱함으로써 얻을 수 있는데, 독립 사건들의 합의 평균은 평균의 합이고, 합의 분산은 분산의 합이기 때문이다.
2.1.1. The beta distribution
이제 위에서 언급한 베르누이 분포와 이항 분포의 mean의 overfitting 문제를 해소하기 위한 Bayesian approach를 다룬다. 당연히 prior distribution 를 도입하는 것인데, 여기서 해석의 용이함 혹은 직관적 합리성을 위한 conjugacy라는 개념이 나온다. 바로 prior distribution와 posterior distribution의 functional form이 같아지는 성질을 바로 conjugacy라고 한다.
상술했듯 Bernoulli distribution에서의 likelihood function은 인데, prior distribution으로 와 의 (각각의) power에 비례하는 분포를 택하면, 그 사후 분포 역시 동일한 성질을 가지게 되는 것을 알 수 있다. 이를 일반화한 functional form이 바로 beta distribution이다.
단, 이며, normalization term이라고 볼 수 있겠다.
이러한 beta distribution의 평균과 분산은 다음과 같이 주어진다.
이제 likelihood function과 beta distribution으로서의 prior distribution을 곱한 posterior distribution은 다음의 성질을 만족하게 되는데, beta distribution과 functional form이 동일하므로 normalization term은 beta distribution으로부터 추론해낼 수 있다. (평균과 분산 또한 마찬가지이다.) 이러한 성질은 꽤나 직관적인 해석이 가능한데, 바로 beta distribution의 parameter들을 각각 시행에 대한 관측 횟수만큼 증가시킨 것이다.
이를 sequential approach로 볼 수도 있는데, 데이터 하나 하나에 대해 posterior distribution을 구하고, 그 posterior를 다시 prior로 간주하여 posterior로 구하고, ... 하는 과정을 반복해도 동일한 결과를 얻게 되는 것이다. 이러한 online-learning은 컴퓨터의 memory를 효율적으로 사용할 수 있다는 강점을 가진다.
마지막으로 책에서 눈여겨볼 만한 특징들을 몇 가지 언급하는데, 바로 1) 시행의 횟수가 무한대로 발산하면 maximum likelihood estimation과 Bayesian estimation이 수렴한다는 것과 2) Bayesian learning에서는 데이터가 증가함에 따라 "평균적으로" uncertainty(variance)가 단조 감소한다는 것이다.
2.2. Multinomial Variables
이번 절에서는 바로 위에서 다룬 내용을 multinomial space로 확장한다. 즉 확률 변수 가 중 하나의 state를 취할 수 있는 상황에서의 확률 분포를 다루며, 이러한 확률 변수의 state는 흔히 1-of-K scheme, 혹은 one-hot-vector의 형식으로 나타낸다.
그러면 이제 의 확률 분포는 다음과 같다.
또 likelihood function은 다음과 같다.
Maximum likelihood solution을 찾기 위해서는 의 제약 하에서 likelihood function을 극대화하여야 하는데, 이는 Lagrange multiplier를 사용하여 쉽게 풀 수 있다. 예상했던 대로 는 전체 표본 중 인 표본들의 비율이다.
위에서 Bernoulli distribution을 확장했으니, 이제 자연스럽게 binomial distribution을 확장한다. 다음과 같이 상당히 직관적이고 또 다를 게 없다. 바로 multinomial distribution이다.
2.2.1. The Dirichlet distribution
마찬가지로 beta distribution의 multinorm 버전이라고 볼 수 있다. Likelihood function이 각각의 의 power에 비례함에 따라, 다음과 같은 functional form을 prior로 삼으면 conjugacy를 얻게 된다. 이와 같은 distribution을 바로 Dirichlet distribution이라 한다.
즉 위와 같은 prior 하에서 posterior은 다음과 같이 계산된다.
당연한 이야기이지만 binomial distribution은 일 때의 multinomial distribution과 동일하다.
2.3. The Gaussian Distribution
대망의 Gaussian distribution이다. 일단 univariate Gaussian distribution은 mean , variance 와 함께 다음과 같은 형태로 정의된다.
Multivariate Gaussian distribution은 비슷하게 mean vector , covariance matrix 와 함께 다음과 같이 정의된다.
이러한 Gaussian distribution은 연속 변수에 대해 entropy를 최대화하는 분포이기도 하고, 어떠한 조건 하에서 random variable의 합(혹은 평균)은 합해진 term의 수가 증가함에 따라 Gaussian distribution에 근사한다는 Central Limit Theorem이라는 아주 유명하고 유용한 성질을 가진다. (실제로 이러한 근사는 굉장히 빠른 속도로 이루어진다고 한다.) 그런 측면에서 binomial distribution은 관측량이 늘어남에 따라 Gaussian에 근사한다.
먼저 Gaussian distribution의 geometrical form을 살펴본다.
Gaussian distribution은 다음과 같은 quadratic form을 통해 의 값에 의존한다. 이를 로부터 까지의 Mahalanobis distance라 부르며, 당연히 라면 Euclidean distance와 동일하다.
먼저 covariance matrix 는 의 대칭행렬임을 알아두자. 그리고 covariance matrix의 다음과 같은 eigenvector equation을 살펴보자.
는 real, symmetric matrix이기 때문에 그 eigenvalue도 당연히 실수값일 것이고, 따라서(?) 다음과 같이 orthonormal set을 형성하는 eigenvector set이 존재한다.
이제 단순한 대수를 통해 covariance matrix 는 다음과 같이 표현될 수 있다.
그 역행렬 역시 마찬가지로 다음과 같이 표현할 수 있다.
이를 위의 Mahalanobis distance에 대입하면 와 함께 다음의 결과를 얻는다.
여기서 를 orthonormal vector 에 의해 정의된 coordinate system에 대해 에 대응하는 coordinate(?)으로 해석할 수 있다.
이를 다시 로 쓰자. 이고, 는 를 번째 row로 가지는 orthogonal matrix이다.
이러한 Gaussian distribution이 잘 정의되기 위해서는 가 positive definite(모든 eigenvalue가 양수)이어야 한다. 다만 챕터 12에서 positive semidefinite(모든 eigenvalue가 0 혹은 양수) covariance matrix를 가지는 Gaussian distribution에 대해 다룬다.
이제 에 의해 정의된 coordinate system에서의 Gaussian distribution의 형태를 살펴보자. 에서 좌표계로 변형되는데 나타나는 Jacobian matrix 는 다음과 같다.
그러면 가 orthonormal matrix라는 점을 이용하여 다음과 같은 사실을 알 수 있다.
또한
따라서 에 대하여 Gaussian distribution은 다음과 같이 쓸 수 있다. 독립적인 개의 univariate Gaussian distribution의 곱(factorization)임을 알 수 있는데, 여기서 eigenvector는 joint probability distribution이 각각의 독립적인 개의 분포로 분해되는데 대응되는 새로운 coordinate system을 정의하는 역할을 한다.
또 Gaussian distribution의 moments를 살펴봄으로써 , 임을 알 수 있다.
마지막 논의 주제는 의 자유도와 unimodal distribution으로서의 한계에 대한 것인데, 이 주제들은 후에 더 자세하게 다루기로 한다.
2.3.1. Conditional Gaussian distributions
Gaussian distribution의 중요한 성질 중 하나는 바로 두 변수들의 집합이 jointly Gaussian이면, 한 변수에 대한 다른 한 변수의 conditional distribution 역시 Gaussian이라는 것과, marginal distribution 역시 Gaussian 이라는 것이다.
먼저 가 -dimensional vector이라고 가정한 후 를 생각해보자. 위의 성질을 보이기 위해 를 두 set으로 다음과 같이 나눌 것이다.
Covariance matrix는 다음과 같이 나눌 수 있는데, 가 대칭 행렬인 것을 이용하여 가 각각 대칭이고 임을 알 수 있다.
한편 앞으로 펼쳐질 논의에서 covariance matrix보다 precision matrix 로 표현하는 것이 더 용이한 경우가 많다는 점을 알아두자. 대칭행렬의 역행렬은 역시 대칭이기 때문에, 나누어진 행렬들의 바로 위와 같은 관계가 역시 성립한다. 하지만 일 것이라는 순진한 생각은 하면 안 된다.
이제 conditional distribution 의 표현식을 찾아보자. 이는 로부터 를 고정하고, 에 관하여 marginalization함으로써 얻어낼 수 있다. 다만 normalization은 Gaussian distribution의 functional form을 이용하여 더욱 효율적으로 찾아낼 수 있다. 이를 위해서는 분포의 exponent의 quadratic form만 조사하면 된다.
에 대한 function으로써 역시 quadratic form이기 때문에 conditional distribution 역시 Gaussian임을 쉽게 알아낼 수 있다. 이제 여기서 mean과 covariance를 알아냄으로써 조건부 분포의 온전한 형태를 알아낼 수 있다. 이렇게 exponent term의 quadratic form을 통해 mean, covariance를 알아내어 Gaussian distribution의 형태를 구하는 과정을 "completing the square"라 부른다.
먼저 일반적인 Gaussian의 exponent term이 다음과 같이 주어짐에 주목하자. Quadratic form을 다음의 형태로 표현하고 나면 Gaussian을 정의하기 위한 parameter를 찾아낼 수 있다.
이를 위에서 구한 조건부 분포의 quadratic form에 적용해보자. 먼저 를 상수로 간주하여 에 대한 second order term을 찾으면, 다음과 같다.
이를 위에서 구한 조건부 분포의 quadratic form에 적용해보자. 먼저 를 상수로 간주하여 에 대한 second order term을 찾으면, 다음과 같다.
따라서 의 covariance 는 임을 알 수 있다.
또 first order term을 찾으면 다음과 같은데,
이로부터 를 다음과 같이 알아낼 수 있다.
여기서 조건부 분포의 mean은 에 대한 function이고, covariance는 과 독립적이라는 점에 유의할 필요가 있다. 이게 linear-Gaussian model의 예시라고 한다.
2.3.2. Marginal Gaussian distributions
이제 joint Gaussian distribution의 다음과 같은 marginal distribution이 역시 Gaussian이라는 성질을 살펴보자. 역시 quadratic form을 분석함으로써 쉽게 목적을 달성할 수 있다.
위의 integration은, 의 표현식에서 에 대한 term을 찾아 completing the square함으로써 쉽게 이루어질 수 있다고 한다. 먼저 에 관련된 term을 뽑으면 다음과 같다.
이 때
여기서 에 대한 의존성은 첫 번째 term의 Gaussian standard quadratic form과 와는 무관한 두 번째 term의 합으로 이루어짐을 확인할 수 있다. 따라서 에 대한 위 식의 integration은 다음과 같은 형태를 가지게 될 것임을 알 수 있다.
그런데 위의 integration은 unnormalized Gaussian의 integration이고, 따라서 그 값이 normalization coefficient의 역수일 것임은 쉽게 알 수 있다. 이제 위 에서 와 관련된 부분은 모두 해결되었다. 그러면 에 의존하는 와는 무관한 term과, 에 의존하지 않는 의 term들을 다음과 같이 정리할 수 있다.
여기서 다음과 같은 사실을 알 수 있다.
그런데 임을 이용하여 임을 알아낼 수 있다. 이로써 다음과 같은 직관적인 결과를 얻는다.
2.3.3. Bayes' theorem for Gaussian variables
이번 섹션에서는 에 대한 marginal distribution 와 에 대한 의 conditional distribution 가 주어졌을 때, 에 대한 marginal distribution 와 에 대한 의 conditional distribution 를 찾는 과정을 다룬다. 여기서 는 일종의 prior, 는 posterior로 볼 수 있다.
우선 다음과 같은 정보가 주어졌다고 가정하자.
먼저 와 의 joint distribution을 찾아보자. 이를 위해 다음과 같이 정의하면,
다음이 성립한다.
이는 역시 에 대한 quadratic function이고, 따라서 는 Gaussian이다. 앞에서 계속 했던 것처럼 second order term을 통해 precision을 찾고, linear term을 통해 mean을 찾으면 된다.
이제 에 대한 marginal distribution을 찾아보자. 위에서 구한 를 marginalize하면 된다. 2.3.2에서 배운 내용을 적용하면 금방 구할 수 있다.
마지막으로 를 구한다. 이 역시 2.3.2에서 배운 내용을 적용하면 금방 구할 수 있다.
2.3.4. Maximum likelihood for the Gaussian
Gaussian distribution의 log likelihood는 다음과 같이 주어진다.
따라서 log likelihood는 데이터 에 대해 다음의 term을 통해서만 의존하는데,
(부록을 참고하면) 에 대한 도함수는 다음과 같이 주어지며,
이를 0으로 만드는 의 값은 역시나 sample mean이다.
또한 optimal 역시 sample covariance이다.
이전에 살펴봤듯 위와 같은 covariance는 불편 추정량이 아니기 때문에 보통은 편향을 없애기 위해 대신에 로 나눈다.
2.3.5. Sequential estimation
Sequential estimation은 이전에도 잠깐 언급했던, online learning으로 더 익숙한 그것이다.
먼저 위에서 구한 을 다음과 같이 다시 쓸 수 있다.
이는 개의 데이터를 관측한 후의 ML estimator에서, 번째 데이터를 관측한 순간 관측 데이터 수에 반비례하여 estimation error만큼 그 estimation을 수정한다고 볼 수 있겠다.
하지만 항상 이러한 상황을 적용할 수 없기 때문에, 보다 보편적인 sequential learning 알고리즘인 Robbins-Monro 알고리즘을 소개한다. 어쨌거나 이 알고리즘을 이용하면 역시 마찬가지로 online learning이 가능하다. 근데 알고리즘 자체는 쓸모가 있는지 잘 모르겠어서 일단은 생략한다.
2.3.6. Bayesian inference for the Gaussian
Point estimation에 국한된 maximum likelihood 프레임워크를 넘어서, 이번에는 Bayesian 프레임워크를 다룬다.
일단은 가 주어졌다고 가정하고, 개의 데이터로부터 를 추론하는 문제를 생각해보자. 우선 likelihood는 다음과 같다.
이 때 likelihood가 quadratic form의 exponential 형식을 갖추었기 때문에 prior 를 Gaussian으로 선택하면 posterior 역시 Gaussian이 된다. 따라서 다음과 같은 prior를 상정한다.
Completing square를 포함한 이런 저런 조작들을 통해 다음과 같은 posterior를 얻을 수 있다고 한다.
이러한 posterior distribution을 잠시 분석해보자. 가장 먼저 mean estimation은 과 사이의 타협점임을 알 수 있다. 이면 에 가까워지고, 이면 에 가까워진다. 또한 이 커질수록 precision은 점차 증가한다. 이러한 Bayesian treatment에 대한 sequential view는 이전에 살펴보았듯 아주 자연스럽게 도출된다.
이제 mean이 주어졌다고 생각하고, variance를 구하는 문제를 생각해보자. 먼저 variance보다 precision을 구하는 것이 더 용이하기 때문에 를 정의한다. 그러면 likelihood는 다음과 같다.
따라서 conjugate prior는 의 power와 에 대한 linear function의 exponential의 곱과 비례해야 하겠다. 이에 따라 다음과 같이 정의된 gamma distribution을 이용한다.
Gamma distribution의 mean, variance는 각각 다음과 같다.
이제 prior 를 상정하면, posterior는 다음과 같다.
즉 posterior distribution은 로 주어지며,
이 때 개의 데이터를 관측하는 것은 를 만큼 증가시키는 효과를 가지는데, 이로써 는 effective prior observations의 수로 해석할 수 있겠다. 또한 는 prior observation의 variance 정도로 해석이 가능하겠다.
이제 mean과 variance가 둘 다 알려지지 않았다고 가정하자. 먼저 likelihood는 다음과 같은데,
이를 위한 conjugate prior는 다음의 형태를 가져야 하겠다.
이 때 에서 와 를 찾아낼 수 있다. 특히 는 Gaussian이며, 는 gamma distribution이다. (이 때 , , .)
이를 normal-gamma 혹은 Gaussian-gamma distribution이라 한다. Multivariate으로의 확장은 trivial하다.
2.3.7. Student's t-distribution
앞서 Gaussian precision에 대한 conjugate이 gamma distribution으로 주어진다는 것을 보았다. 여기서 univariate Gaussian과 gamma distribution의 곱으로 나타나는 posterior를 precision에 대해 integrate하면 다음과 같은 형태의 분포를 얻는다.
이를 좀 더 generalize하면 다음과 같은 Student's t-distribution을 얻는다.
여기서 는 종종 precision으로, 는 degrees of freedom으로 불린다. 인 경우 Cauchy distribution과, 일 경우 Gaussian과 동일하다.
또한 도출식으로부터, Student's t-distribution은 동일한 mean과 각각 다른 precision을 가진 무수히 많은 Gaussian을 더한 것으로 해석할 수 있다. 이로써 Gaussian에 비해 더 꼬리가 두꺼운 분포를 얻는데, 이로 인해 outlier에 보다 robust한 분포라는 속성을 얻는다.
2.3.8. Periodic variables
생략
2.3.9. Mixtures of Gaussians
생략
2.4. The Exponential Family
이번 장에서 배운 확률 분포들은 exponential family라고 불리는 확률 분포족의 세부적인 케이스들이다. 이번 절에서는 이러한 exponential family에 대한 general property를 몇 가지 다룬다.
먼저 확률 변수 에 대한 exponential family의 distribution은 다음과 같은 형태를 가지는 것으로 정의된다. 여기서 는 natural parameters라 불리며, 는 에 관한 함수이고, 는 normalization coefficient라고 볼 수 있다.
이제 exponential family의 한 멤버인 Bernoulli distribution을 exponential family의 관점에서 살펴보자. 먼저 Bernoulli distribution은 다음과 같은 형태를 가지는데,
여기서 이고, 이를 에 대해 풀면 다음과 같은 sigmoid function이 도출되는 것을 볼 수 있다.
따라서 Bernoulli distribution을 exponential family의 형태로 표현하면 다음과 같다. 즉 , , 이다.
이제 multinomial distribution을 살펴보자. 먼저 일 때 다음과 같다.
그러면 exponential family의 입장에서 다음과 같다.
이 때 라는 constraint로 인해 는 independent 하지 않다. 즉 개의 parameter가 정해져있으면 나머지 하나의 parameter도 정해지게 되는데, 이런 경우에는 개의 parameter 만으로 표현하는 것이 용이한 경우가 있다. 다음과 같이 다시 쓸 수 있다.
여기서 임을 알 수 있는데, 이를 에 대해 풀면 다음과 같이 softmax function이 나온다.
이러한 측면에서 multinomial distribution은 다음과 같이 표현될 수 있다. 여기서 , , 이다.
마지막으로 Gaussian distribution에 대해 살펴보자.
다음과 같은 사실을 알 수 있다.
2.4.1. Maximum likelihood and sufficient statistics
이제 exponential family의 parameter vector 를 maximum likelihood method를 통해 추론해내는 방법을 다루자. Exponential family의 integration(=1)을 에 대해 미분하면 다음과 같은 식을 얻을 수 있다.
이를 정리하면 다음과 같은 식을 얻는다.
이제 i.i.d. dataset 에 관한 likelihood는 다음과 같다.
의 에 대한 gradient를 0으로 만듦으로써 얻는 은 다음과 같다.
여기서 maximum likelihood estimator는 데이터에 대해 오로지 에만 의존한다는 점을 발견할 수 있는데, 이를 sufficient statistic이라 부른다. 보통 어떠한 estimator를 도출할 때 오로지 어떠한 형태의 데이터만 필요하다면 이를 sufficient statistic이라 칭한다.
2.4.2. Conjugate priors
$일반적으로 어떠한 확률 분포 에 대해, likelihood function에 conjugate한 형태의 prior 를 택하여 posterior가 prior과 동일한 형태를 가지도록 할 수 있다. 어떠한 exponential family의 멤버에 대해, 다음과 같은 형태의 conjugate prior를 생각할 수 있다. 는 normalization coefficient이고, 는 원래 알던 그것이다.
이를 위에서 구한 likelihood에 곱하여 구한 posterior은 다음과 같다.
이러한 posterior은 다시 prior과 동일한 형태를 갖게 된다.
2.4.3. Noninformative priors
여기서는 parameter에 대해 가능한 한 최소한의 영향력(정보)을 가지는 prior인, noninformative prior에 대해 다룬다.
확률 분포가 parameter 에 의해 와 같이 정해진다면, noninformative prior로써 로 정하는 것이 적절할 수 있다. 만약 가 discrete variable이라면 단순히 와 같이 정하면 될 것이다. 하지만 continuous variable에 대해서는 골치가 아파진다. 대표적으로 가 unbounded variable일 경우 확률 분포가 올바르게 정규화되지 못하는 문제(improper distribution)가 발생할 수 있고, 앞서 1장에서 언급했듯 variable의 nonlinear change에 대한 probability density의 변형에 관한 문제(예컨대 variable에 대한 nonlinear transformation을 가하면 그 probability density는 더 이상 constant가 아니다)가 발생할 수 있다. Maximum likelihood의 경우에는 후자가 문제가 되지 않지만, Bayesian approach를 택할 때에는 주의해야 한다.
이제 두 가지 간단한 형태의 non-informative prior의 예시를 살펴보자. 먼저 다음과 같은 형태를 가진 밀도함수에서,
는 location parameter라 불린다. 이러한 형태를 가진 밀도함수는 translation variance라는 특성을 가지는데, 바로 처럼 변수를 평행이동하여도 에 의해 같은 형태로 표현이 가능하다는 것이다. 즉 밀도 함수가 origin의 선택에 영향을 받지 않는다.
이제 이러한 translation invariance를 가지는 prior distribution을 택하고자 한다면, 다음과 같은 성질을 만족한다.
위와 같은 식이 의 선택과는 무관하게 만족하므로, 이다. 이는 를 암시한다. 이러한 location parameter의 대표적인 예시는 바로 Gaussian distribution의 mean인데, constant mean과 함께 prior variance를 무한대로 보내버리면 mean에 대한 non-informative prior를 얻을 수 있다.
두 번째 예시로, 다음과 같은 형태의 밀도함수를 살펴보자.
이 때 를 scale parameter라 부르며, 이러한 형태의 밀도함수는 scale invariance를 갖는다. 예컨대 처럼 변수를 변형하여도 에 의해 동일한 밀도로 표현된다.
이제 이러한 scale invariance를 갖는 prior를 얻고자 한다면, interval 와 interval 에 동일한 밀도를 할당하여야 한다. 즉,
위와 같은 식이 에 무관하게 성립하므로, 이다. 이러한 밀도는 에 대한 integration 발산하기 때문에 improper하다는 것에 주의하자.
종종 log scale에 대한 invariance를 가진 prior distribution을 고려하는 것이 용이하다. 이같은 distribution은 와 같은 성질을 가지는데, 이에 따라 예컨대 구간과 구간, 구간에서 동일한 밀도(질량)를 갖게 된다.
이러한 scale parameter의 대표적인 예시는 또 다시 Gaussian distribution의 standard deviation이다.
2.5. Nonparametric Methods
이 장의 마지막 섹션에서는 density estimation을 위한 histogram method, nearest neighbor method 두 가지 non-parametric method를 가볍게 둘러본다.
Standard histogram method는 단순히 를 너비의 bin들로 나눈 다음, 각각의 bin 내에 있는 데이터들의 수 를 측정한다. 이를 정규화하기 위해 전체 데이터의 수인 과 해당 bin의 너비 로 나누면 다음과 같이 probability density가 도출된다.
여기서 bin의 너비는 smoothing parameter이며, 작은 값을 택할수록 굉장히 울퉁불퉁하고 sparse한 density가 도출되는 한편 큰 값을 택할수록 매끄럽지만 표현력이 약한 density가 도출된다. 이러한 histogram method는 빠른 시각화 등의 목적으로 자주 사용되지만, dimensionality에 큰 영향을 받는다는 한계를 가진다.
이러한 histogram method로부터 두 가지 인사이트를 도출해낼 수 있다. 첫째는 바로 어떠한 점의 density를 구하기 위해서는 그 주변 공간(neighborhood)의 데이터들을 살펴봐야 한다는 것이며, 둘째는 적절한 smoothing parameter의 선택이 필요하다는 것이다.
2.5.1. Kernel density estimators
이제 임의의 -dimensional space에서의 probability density 를 구한다고 생각해보자. 바로 위에서 도출한 인사이트에 의해, 를 포함한 small region 을 상정한다. 그러면 probability mass는 다음과 같이 생각할 수 있다.
이제 로부터 개의 데이터 포인트를 구했다고 하자. 그러면 공간 에 각 데이터가 떨어질 확률이 로 주어지고, 개의 데이터가 에 떨어질 확률 분포는 binomial distribution의 형태를 가진다.
Binomial distribution의 성질로부터 를 알아낼 수 있는데, 충분히 큰 에 대하여 다음과 같다.
또한 region 이 충분히 작아 그 안에서의 확률 밀도가 일정하다고 하면, 다음과 같다.
이제 위 두 식으로부터 다음을 도출해낼 수 있다.
단, 이러한 식은 두 가지 상반된 가정, 즉 region 이 1) 충분히 작아서 그 안의 확률 밀도가 일정한 동시에 2) 충분히 커서 binomial distribution이 날카롭게 수렴할 수 있어야 한다는 가정에 의존한다는 데 주의해야 한다.
이제 위 식에서, 를 고정하여 을 데이터로부터 도출하거나, 를 고정하여 를 데이터로부터 도출할 수 있다. 전자의 경우가 바로 -nearest neighbor technique이고, 후자의 경우가 바로 kernel approach이다.
E.O.D.