우선 신경망에 대해 다루기 전, 선형모델과 비선형 모델의 차이점부터 짚고 넘어가자. 선형 모델과 비선형 모델 참고블로그 일반적으로 y와 x의 관계가 일차식이면 모두 선형모델이라고 착각하기 쉽다. 우리가 관심을 가져야할 것은 x로 나타낸식이 일차식이냐 아니냐가 아니라 우리가 추정할 대상인 파라미터가 어떻게 생겼느냐이다. 예를 들어, 어떤 파라미터 뒤의 다항식이 $x^2$이더라도 $x^2$을 $x_r$로 치환해버리면 그만이다. 선형 모델은 문자항이 아닌 파라미터 부분이 선형식으로 표현되는 모델이다. 좀더 자세히 알아보면, 선형 회귀 모델은 '회귀 계수(regression coefficient)를 선형 결합으로 표현할 수 있는 모델'을 말한다. 즉 독립 변수가 일차식이냐 이차식이냐 로그 함수식이..

Convolution CNN을 다루기에 앞서 Convolution 연산의 의미와 쓰임에 대해 알아 보자. 왜 Convolution(CNN)을 쓰는가 ? 우선 우리가 왜 convolution(합성곱)을 써야하는지 부터 알아보면, 이전까지 배웠던 다층 신경망(MLP)는 fully connected 구조로, 가중치가 m x n의 행렬로 구성되어 있습니다. 즉, 입력벡터 x의 i번째 값을 업데이트 하기 이ㅜ해 $W_i$라는 긴 행이 필요했던 것이다. 요지는, 이게 당연하다고 생각했었는데 **사실은 메모리 측면에서 상당히 비효율 적이다. 층이 한두개가 아닐 텐데 이 fully-connected 구조가 수십개만 쌓여도 MLP구조는 메모리를 많이 차지하게 될 것이다. 그래서 이제부터 우리는 커널(kernel)을 기존..

Optimization Generalization: 일반화 성능, 학습 데이터와 테스트 데이터에서의 성능 차이 Under-fitting vs over-fitting : 학습데이터에서는 잘 동작하지만 테스트 데이터에서 성능이 떨어지는 경우(over), 학습 데이터 에서 조차 충분히 학습이 안된 경우(under) Crossvalidatoin : 학습 데이터를 나눠서 일부를 학습에 사용하지 않고 교차로 모델 성능 검증에 활용(최적의 하이퍼파라미터 조합을 위해 주로 사용) Bias-variance tradeoff : 분산(일관성)과 편향(치우침)의 trade-off 관계 Bootstrapping : 학습 데이터가 고정되어 있을때 서브샘플링을 통해 학습데이터를 여러개 만들어 내는 기법 Bagging 여러개의 모델..