가장 먼저 나이를 예측할 수 있는 훈련 함수 식을 만들어야 해요. 입력의 피처는 키, 몸무게, 성별이고 출력으로 나이를 예측하고자 하므로 아래와 같은 학습 함수식을 만들 수 있습니다.

이 식은 선형회귀(Linear Regression) 모델의 기본 형태로, 입력 특성들과 나이 사이의 선형적인 관계를 가정합니다. 데이터의 피처(Feature)가 3개이므로 x1~x3가 주어지고, w0은 편향(Bias)을, w1~w3은 각 피처가 나이에 미치는 영향을 나타내는 가중치(Weight)를 의미합니다.

여기서 머신러닝의 목표는 나이를 가장 잘 맞히는 함수식을 찾는 것 입니다. 이를 위해 훈련 데이터를 바탕으로 편향과 가중치를 학습하게 되는 거죠. 이때 학습의 목표는, 실제 나이인 y_true와 예측값 y_predict 사이의 오차를 최소화하는 방향으로 가중치들을 최적화하는 것입니다.

이러한 과정을 흔히 데이터에 함수를 최적화한다고 표현하며, 이 과정을 크게 세 단계로 나타낼 수 있어요.

1. 훈련 함수(Training Function) – 입력 데이터를 바탕으로 예측값을 출력하는 함수

2. 손실 함수(Loss Function) – 예측값과 실제 값 사이의 오차를 수치화하는 기준

3. 최적화(Optimization) – 손실을 최소화하도록 함수의 파라미터를 조정하는 과정

머신러닝에서 우리는 보통 전체 데이터(모집단)를 사용할 수 없습니다. 대신 모집단의 일부인 표본집단을 바탕으로 모델을 훈련하죠. 그렇다면, 단지 ‘일부 데이터’만으로도 전체를 대표할 수 있다고 말할 수 있을까요? 이 질문에 대한 통계적 근거는 중심극한정리와 큰 수의 법칙에서 찾을 수 있습니다.

중심극한정리란, 모집단의 분포가 어떻든 표본 크기가 충분히 크다면 그 표본평균은 정규분포를 따른다는 정리입니다. 수식으로 표현하면 아래와 같습니다.

 X_i는 모집단에서 임의로 추출한 i 번째 표본 값을 의미합니다. 예를 들어, 키에 대한 모집단에서 5명을 뽑았다고 하면, X_1은 첫 번째 사람의 키, X_2는 두 번째 사람의 키... 이런 식으로 각각의 표본 값을 나타냅니다. 여기서 n은 표본의 개수, 즉 샘플의 크기이고, X_n bar은 표본 평균으로 X_1, X_2,…, X_n의 평균값이에요.

중심극한정리
출처: ⓒ deep daiv. 

따라서, 중심극한 정리는 "표본 평균들이 모집단 평균 근처에 있을 확률이 크다"는 걸 말해주는 이론으로, 여러 번 샘플링했을 때의 평균값들의 분포에 대한 이야기입니다. 그러나 실제 머신러닝에서는 보통 단 한 번의 큰 샘플(하나의 훈련 데이터셋)으로 모델을 학습시키는데, 이 하나의 표본 평균이 실제 모집단 평균에 가까운지에 대한 보장을 해주는 것은 아니에요..

바로 여기서 큰 수의 법칙이 필요합니다. 큰 수의 법칙은 표본의 크기(n)가 충분히 커질수록 표본 평균(X_n bar)이 모집단 평균(E[X])에 수렴한다는 것을 말합니다.

앞서 머신러닝에서 일반적으로 더 많은 데이터가 더 나은 성능을 가진다는 점을 중심극한정리와 큰 수의 법칙을 통해서 알아보았습니다. 그러나 실제로는 데이터가 너무 많아지면 계산 비용과 메모리 사용량이 급격히 증가하며, 오히려 학습 효율을 떨어뜨리기도 해요.

또한 데이터의 피처 수는 가중치 계산량을 증가시키는 요소입니다. 피처의 수가 늘어날수록 더 정교하게 예측할 수 있지만, 가중치 행렬의 차원이 늘어나기 때문인데요. 앞서 살펴본 키와 몸무게, 성별을 바탕으로 나이를 예측하는 선형회귀 식을 다시 가져와 보겠습니다.

여기에 ‘가장 좋아하는 음식’, ‘연애 횟수’, ‘재산’ 등등 피처를 계속 추가해서 총 100개의 피처가 되었다고 가정해 볼게요.

출력이 1차원이라고 가정하면, 데이터의 피처가 3개였을 때 가중치 행렬은 3*1 차원이었고 데이터의 피처가 100개일 때는 가중치 행렬이 100*1 차원입니다.

따라서 이 새로운 훈련 함수를 최적화하기 위해서는 1개의 편향과 100개의 가중치를 찾아내야 하는 거죠. 모든 훈련 데이터 포인트를 이 훈련 함수에 통과시켜 y_predict를 찾아내고, y_true와의 손실을 바탕으로 손실 함수를 최소화하는 w0~w100 값을 업데이트해야 하므로 많은 계산이 필요합니다.

그런데 데이터가 점점 늘어나 수백만 개의 데이터 포인트, 수천 개의 피처를 가지게 된다면 어떻게 될까요? 어떻게 하면 데이터의 정보는 유지하면서도, 더 작은 표현으로 학습할 수 있을까요?

이 질문에 대한 수학적 해법 중 하나가 바로 차원 축소이며, 그 대표적인 방법이 특잇값 분해(Singular Value Decomposition, SVD)입니다. SVD는 고차원 행렬을 보다 간결한 형태로 표현하면서, 데이터의 구조를 최대한 보존하는 방식으로 차원을 줄일 수 있는 강력한 수학적 도구라고 할 수 있어요.

차원 축소의 핵심은 "덜 중요한 정보를 줄이면서도 중요한 구조는 최대한 유지하는 것" 입니다. SVD는 임의의 행렬 A를 아래와 같이 세 개의 행렬 곱으로 분해합니다.

여기서,

• U는 입력 공간의 방향을 정의하는 좌측 특이벡터들의 집합,
• V는 특성 공간의 방향을 정의하는 우측 특이벡터들의 집합,
• Σ는 대각선에 특잇값(Singular Values)이 나열된 행렬로, 각 방향으로의 정보량을 나타냅니다.

특잇값은 행렬이 가진 정보의 '강도' 또는 '중요도'를 나타내는데, 큰 특잇값일수록 행렬의 데이터에서 더 중요한 방향(패턴)을 의미해요. 반대로 특잇값이 작으면, 그 방향은 상대적으로 덜 중요한 정보라는 뜻이죠.

중요한 점은 대부분의 정보가 Σ의 앞쪽, 즉 상위 몇 개의 특잇값에 몰려 있다는 것입니다. 다시 말해, Σ에 있는 특잇값들을 살펴보면 처음 몇 개는 크고 뒤로 갈수록 거의 0에 가까워지는 경우가 많습니다. 따라서 거의 0에 가까운 값들은 무시하고, 큰 값들만 남김으로써 정보의 핵심만 담은 저차원 행렬 A_r로 근사해서 표현할 수 있어요. 이렇게 하면 전체 행렬 A를 다 쓸 필요가 없어 계산은 훨씬 빨라지고, 저장 공간도 아낄 수 있으면서도 중요한 정보는 놓치지 않을 수 있는 거죠.

이렇게 만들어지는 근사 행렬 A_r는 원래 행렬 A와 가장 가까운 r 차원 근사 행렬입니다. 즉, 원래 데이터의 구조를 최대한 유지하면서 차원을 줄인 표현이에요. 여기서 r은 남길 특잇값의 개수를 뜻합니다.

예를 들어, 1000×1000 픽셀 크기의 이미지를 하나의 행렬이 있다고 가정해 볼게요. 이 행렬에서 상위 50개의 특잇값만 남겨도 원본 이미지와 거의 구별하기 어려운 수준으로 이미지를 복원할 수 있습니다. 이는 대부분의 정보가 소수의 주요 축(특이벡터 방향)에 집중되어 있다는 점을 이용한 거예요. 이처럼 SVD 기반 차원 축소는 정보 손실을 최소화하면서도 표현을 단순하게 만드는 데 효과적입니다.