마모에 ML/DL 전공자 또는 관련 직장에 계신 분들이 꽤 있으신 걸로 압니다.
질문 하나 드릴게요.
오늘 통계전공하는 사람이란 얘기를 잠시 나누었는데, Neural Network (NN)은 parametric model 인가요? 아님 non-parametric model인가요?
어떤 사람들은 NN이 finite number and fixed size of parameter, 즉 weight matrix를 가지고 있기때문에 parametric model이라고 하던데.. 제가 이제껏 알고 있었던건 parametric 또는 non-parametric의 기준은 어떤 형태의 data distribtuion을 모델링 시 미리 가정하는냐 아니냐로 분류된다 였거던요. NN은 특정 형태의 data distribution을 가정하지않고 training set으로 error rate 또는 loss function을 최소화하는 weight matrix를 구하고 그걸 이용해 prediction, classifcation, generation 등을 하니까 non-parametric model이 맞지 않을까요? 물론 특정 형태의 NN, 예를 들자면 variational auto-encoder의 경우 latent space의 data dstribution을 일반적으로 normal gaussain distribution으로 가정하고 모델링이 되니까 parametric model이라고 볼수있지만..
대부분의 dnn은 파라미터가 무수히 많은 거지 non parametric은 아닙니다.
그런데, 제가 본문에서 언급했듯이 parameter 수가 많고 적음에 따라 정의되는 그 parameter가 아니라 assuming data distribution을 하느냐 아니냐로 정의되는게 parametric이야 non-parametric model 이지 않는가 하는게 제 생각이고요 구글링해보니 여러가지 의견이 보이는군요 아래는 제 의견에 부합되는 링크입니다.
https://www.quora.com/How-is-it-that-Neural-Networks-are-nonparameteric-models
https://www.quora.com/Are-Neural-Networks-parametric-or-non-parametric-models
그리고 걸어주신 링크에 한 댓글도 이런게 있군요
"Deep learning models should not be considered parametric. Parametric models are defined as models based off an a priori assumption about the distributions that generate the data."
https://en.wikipedia.org/wiki/Nonparametric_statistics
Wikipedia에 보면 non-parametric은 imprecise하게 두가지로 정의되는 경향이 있다는 군요. 하나는 말씀하신대로 parametric distribution이라고 가정하지 않는 경우 두번째는 model의 structure 가 픽스되지 않은 경우네요.
오... 신기하네요. 전 nn은 당연히 non-parametric이라 생각했는데 다르게 생각하는 사람들도 많군요. 제 기준은 modeling하고자하는 시스템의 data generation process를 수식으로 표현하여 예측하려는 모델은 parametric. 반대로 시스템/dgp와 상관없이 동일한 모델 폼을 적용하는 범용 모델은 non-parametric이라 생각합니다.
저도 당연히 그렇게 생각하고 있었는데, 구글링 해보니 다른 의견 (정의)이 많이 있어서, 이게 맞다고 단정짓지 못하겠네요.
댓글 [5]