선형회귀 (Linear Regression)에 대한 여러 접근법

1. 선형회귀 (Linear Regression)

선형회귀는 입력 $\mathbf{\text{x}}\in {\mathbb{R}}^{d\times 1}$와 출력 $y\in \mathbb{R}$를 식 (1)과 같은 선형 관계로 모델링하기 위한 회귀분석이다.

$$\begin{array}{}\text{(1)}& y={\mathbf{\text{w}}}_1{\mathbf{\text{x}}}_1+...{\mathbf{\text{w}}}_d{\mathbf{\text{x}}}_d+b={\mathbf{\text{w}}}^T\mathbf{\text{x}}+b\end{array}$$

위의 식에서 $\mathbf{\text{w}}\in {\mathbb{R}}^{d\times 1}$와 $b\in \mathbb{R}$는 선형회귀 모델의 매개변수이다.

그림 1. 주어진 데이터에 대한 선형회귀 모델

$N$개의 데이터를 포함하는 데이터셋 $\mathcal{D}=\{({\mathbf{\text{x}}}^{(1)},y^{(1)}),...,({\mathbf{\text{x}}}^{(N)},y^{(N)})\}$에 대해 선형회귀 모델은 그림 1과 같이 각 데이터에 대한 오차 (error)를 최소화하도록 학습된다. 모델 학습에서 평균 제곱 오차 (Mean squared error, MSE)를 손실 함수 (loss function)로 이용할 경우 선형회귀 모델의 학습은 아래의 식 (2)로 정의된다.

$$\begin{array}{}\text{(2)}& {\theta }^{\ast }=\underset{\theta }{\text{argmin}}\frac{1}{N}\sum _{i=1}^N{({\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b-y^{(i)})}^2\end{array}$$

식 (2)에서 $\theta =\{\mathbf{\text{w}},b\}$는 선형회귀 모델의 매개변수이다. 머신러닝에서는 일반적으로 모델의 최적 매개변수를 경사하강법 (gradient descent method)으로 찾지만, 선형회귀 모델은 특수한 경우로써 최적 매개변수를 찾기 위한 analytic solution이 존재한다. ^[link]

 

2. 최대 우도 추정 (Maximum Likelihood Estimation, MLE) 기반의 선형회귀 모델 학습

최대 우도 추정은 이전글에서 설명한 바와 같이 likelihood $p(\mathcal{D}|\theta )$를 최대화하여 최적 매개변수 ${\theta }^{\ast }$를 찾는 방법이다. MLE의 관점에서 선형회귀를 서술하기 위해 먼저 선형회귀 모델의 출력 변수 $y$를 식 (3)과 같은 확률변수로 정의한다. 

$$\begin{array}{}\text{(3)}& y^{(i)}={\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b+{ϵ}^{(i)}\end{array}$$

위의 식에서 $i$번째 예측에 대한 오차 ${ϵ}^{(i)}$는 정규 분포 $\mathcal{N}(0,{\sigma }^2)$를 따른다고 가정하며, $\sigma >0$는 어떠한 상수 또는 학습 가능한 매개변수로 설정될 수 있다. 추가적으로 출력 변수 $y$를 독립항등분포 확률변수 (i.i.d. random variable)라고 가정하면, 선형회귀 모델의 MLE 기반 학습은 아래의 식 (4)와 같이 서술된다.

$$\begin{array}{rl}{\theta }^{\ast },{\sigma }^{\ast }=& \underset{\theta ,\sigma }{\text{argmax}}\log p(\mathcal{D}|\theta )\\ =& \underset{\theta ,\sigma }{\text{argmax}}\log \prod _{i=1}^{N}p(y^{(i)}|{\mathbf{\text{x}}}^{(i)};\theta )\\ =& \underset{\theta ,\sigma }{\text{argmax}}\sum _{i=1}^N\log p(y^{(i)}|{\mathbf{\text{x}}}^{(i)};\theta )\\ =& \underset{\theta ,\sigma }{\text{argmax}}\sum _{i=1}^N\log \mathcal{N}(y^{(n)}|{\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b,{\sigma }^2)\\ =& \underset{\theta ,\sigma }{\text{argmax}}\sum _{i=1}^N\{-\frac{1}{2}\log (2\pi )-\log \sigma -\frac{({\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b-y^{(i)}{)}^2}{2{\sigma }^2}\}\\ =& \underset{\theta ,\sigma }{\text{argmax}}-N\log \sigma -\frac{1}{2{\sigma }^2}\sum _{i=1}^N({\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b-y^{(i)}{)}^2\\ \text{(4)}& =& \underset{\theta ,\sigma }{\text{argmin}}N\log \sigma +\frac{1}{2{\sigma }^2}\sum _{i=1}^N({\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b-y^{(i)}{)}^2\end{array}$$

만약 $\sigma$를 어떠한 상수로 가정하면 $\sigma$는 최적화 과정의 변수가 아니게 되며, 아래의 식 (5)를 얻는다.

$$\begin{array}{}\text{(5)}& {\theta }^{\ast }=\underset{\theta }{\text{argmin}}\frac{1}{N}\sum _{i=1}^N({\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b-y^{(i)}{)}^2\end{array}$$

따라서, 식 (2)의 평균 제곱 오차 기반 선형회귀 모델의 학습은 오차 $ϵ$의 평균이 0이고 표준편차가 어떠한 상수로 가정했을 때의 MLE와 같다.

 

3. 베이지안 선형회귀 (Bayesian Linear Regression)

MLE를 기반으로 하는 식 (2)와 (4)의 매개변수 최적화는 매개변수의 분포를 단순한 균등분포 (uniform distribution)로 가정한 것과 같다.^[link] 이 항목에서는 단순한 균등분포를 넘어 모델 매개변수에 대해 우리의 사전지식을 적용할 수 있는 베이지안 선형회귀에 대해 서술한다.

베이지안 선형회귀에서도 아래의 식 (6)과 같이 예측에 대한 오차를 포함하여 입력과 출력의 선형 관계를 가정한다. 아래의 식에서 ${ϵ}^{(i)}\sim \mathcal{N}(0,{\sigma }^2)$는 $i$번째 데이터에 대한 예측 오차이다.

$$\begin{array}{}\text{(6)}& y^{(i)}={\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b+{ϵ}^{(i)}\end{array}$$

베이지안 선형회귀에서는 모델 매개변수가 어떠한 상수일 것이라는 가정의 MLE가 아니라, 모델 매개변수의 분포를 가정하는 MAP (maximum a posteriori)를 바탕으로 모델 매개변수 $\theta$를 최적화한다. MLE와 MAP의 자세한 차이점은 이전글에서 설명했다. MAP에서는 아래의 식 (7)과 같이 사후 확률 (posterior probability) $p(\theta |\mathcal{D})$를 최대화함으로써 모델 매개변수 $\theta$를 최적화한다.

$$\begin{array}{}\text{(7)}& {\theta }^{\ast }=\underset{\theta }{\text{argmax}}p(\theta |\mathcal{D})\end{array}$$

베이즈 정리에 의해 식 (7)의 목적 함수는 아래와 같이 가능도 (likelihood) $p(\mathcal{D}|\theta )$와 사전 확률 (prior probability) $p(\theta )$로 나누어진다.

$$\begin{array}{rl}{\theta }^{\ast }& =\underset{\theta }{\text{argmax}}p(\theta |\mathcal{D})\\ & =\underset{\theta }{\text{argmax}}\frac{p(\mathcal{D}|\theta )p(\theta )}{p(\mathcal{D})}\\ & =\underset{\theta }{\text{argmax}}p(\mathcal{D}|\theta )p(\theta )\\ \text{(8)}& & =\underset{\theta }{\text{argmax}}\log p(\mathcal{D}|\theta )+\log p(\theta )\end{array}$$

식 (4)의 MLE 기반 방법론에서는 사전 확률 $p(\theta )$를 상수로 가정하고, 가능도에 해당하는 $p(\mathcal{D}|\theta )$만을 고려하여 매개변수를 최적화했었다. 그러나 베이지안 선형회귀에서는 사전 확률 $p(\theta )$까지 고려하여 매개변수를 최적화한다. 일반적으로 MAP에서 매개변수에 대한 사전 확률 $p(\theta )$는 데이터 또는 직관에 의해 설정되며, $p(\theta )$의 설정은 학습된 모델의 예측 정확도에 영향을 줄 수 있다.

 

3-1. 사전 확률을 정규 분포로 가정한 경우

사전 확률 $p(\theta )$를 정규 분포 $\mathcal{N}(\mathit{\mu },\mathbf{\text{S}})$로 정의할 수 있으며, 머신러닝에서는 일반적으로 $p(\theta )$를 $\mathcal{N}(0,\mathbf{\text{I}})$로 가정한다. 사전 확률에 대한 이러한 가정에서 선형회귀 모델의 매개변수는 아래와 같이 계산된다.

$$\begin{array}{rl}{\theta }^{\ast },{\sigma }^{\ast }& =\underset{\theta ,\sigma }{\text{argmax}}\log p(\mathcal{D}|\theta )+\log p(\theta )\\ \text{(9)}& & =\underset{\theta }{\text{argmin}}\frac{1}{2{\sigma }^2}\sum _{i=1}^N({\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b-y^{(i)}{)}^2+\frac{1}{2}||\theta |{|}_2^2\end{array}$$

따라서, 사전 확률을 $p(\theta )=\mathcal{N}(\theta |0,\mathbf{\text{I}})$로 가정한 경우에는 평균 제곱 오차와 모델 매개변수의 크기를 동시에 줄이도록 모델이 학습된다. 이는 모델 매개변수에 $L_2$ 제약을 주는 ridge regression과 같다.

 

3-2. 사전 확률을 라플라스 분포로 가정한 경우

사전 확률을 정규 분포가 아니라 라플라스 분포 $\text{Laplace}(0,\mathbf{\text{I}})$로 가정한 경우에는 아래의 식 (10)과 같이 모델 매개변수가 계산된다.

$$\begin{array}{}\text{(10)}& {\theta }^{\ast },{\sigma }^{\ast }=\underset{\theta ,\sigma }{\text{argmin}}\frac{1}{2{\sigma }^2}\sum _{i=1}^N({\mathbf{\text{w}}}^T{\mathbf{\text{x}}}^{(i)}+b-y^{(i)}{)}^2+\frac{1}{2}||\theta ||\end{array}$$

식 (10)에 의해 만들어지는 모델은 $L_1$ 제약이 추가된 선형회귀 모델인 LASSO와 같다.

이 글에서는 베이지안 선형회귀가 매개변수의 크기에 대한 제약이 추가된 선형회귀임을 보였다. 다음글에서는 매개변수의 크기에 대한 제약이 왜 모델의 예측 정확도 향상에 도움이 되는지를 이론적으로 설명할 것이다.