Tech & TIL

Linear Neural Networks Linear Neural Network에서는 Data가 주어졌을 때, Data들을 가장 잘 표현할 수 있는 y = wx + b 식을 근사해야 하는 것이다. 모든 점들을 가깝게 지나가는 직선을 구하기 위해서는 기울기와 y절편을 구해야 한다. 먼저, 모든 데이터를 모델 식에 대입한 후 y_hat 벡터를 구한다. y_hat과 실제 output 값인 y의 차를 제곱해서 평균을 낸 값을 Loss로 정의하고 Loss를 줄이기 위해 Backpropagation 기법을 사용해서 Loss를 최소화한다. Loss를 최소화하기 위해서는 Loss를 각각 w와 b에 대해 편미분을 해줘서 편미분된 값을 활용해서 Loss function을 극소값을 찾아 데이터를 가장 잘 표현하는 y = w..