[인공지능] 회귀 개요

회귀(Regression) 개요

회귀는 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법이다.

$Y = W_1X_1 + W_2X_2 + \cdots + W_nX_n$

$Y$는 종속변수이며, $X_1,X_2,\cdots,X_n$은 독립 변수, $W_1, W_2,W_3,\cdots,W_n$는 독립변수의 값에 영향을 미치는 회귀 계수

머신러닝 회귀 예측의 핵심은 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀 계수를 찾아내는 것!

RSS(Residual Sum of Square)기반의 회귀 오류 측정

RSS: 오류 값의 제곱을 구해서 더하는 방식이다. 일반적으로 미분 등의 계산을 편리하게 하기 위해서 RSS 방식으로 오류 합을 구한다. 즉, $Error^2 = RSS$이다.

RSS와 MSE의 이해

• RSS는 이제 변수가 $W_0, W_1$인 식으로 표현할 수 있고, 이 RSS를 최소로 하는 $W_0,W_1$ (회귀 계수)를 학습을 통해서 찾는 것이 목표이다.

• RSS는 W 변수(회귀 변수)가 중심 변수임을 인지하자
• RSS를 학습 데이터의 건수로 나누어서 MSE(Mean Squared Error)로 표현된다.

$ RSS(w_0,w_1) = \sum_{i=1}^{N}(y_i-(w_0+w_1*x_i))^2$

$MSE(w_0,w_1) = \frac{1}{N} \sum_{i=1}^{N}(y_i-(w_0+w_1*x_i))^2$

MSE - 선형 회귀의 비용 함수

회귀에서 이 MSE는 비용(Cost)이며 w 변수(회귀 계수)로 구성되는 MSE를 비용 함수라고 한다. 머신 러닝 회귀 알고리즘은 데이터를 계속 학습하면서 이 비용 함수가 반환하는 값(즉, 오류 값)을 지속해서 감소시키고 최종적으로는 더 이상 감소하지 않는 최소의 오류 값을 구하는 것이다. 비용 함수는 손실함수(loss function)라고도 하고 목적함수(objective function)라고도 한다.

참고 자료

딥러닝 CNN 완벽가이드