- 전체
- 후기 6764
- 후기-카드 1817
- 후기-발권-예약 1242
- 후기-백신 79
- 후기-격리면제 28
- 질문 57205
- 질문-기타 20691
- 질문-카드 11687
- 질문-항공 10191
- 질문-호텔 5198
- 질문-여행 4034
- 질문-DIY 180
- 질문-자가격리 19
- 질문-은퇴 413
- 정보 24220
- 정보-자가격리 133
- 정보-카드 5221
- 정보-기타 8010
- 정보-항공 3830
- 정보-호텔 3234
- 정보-여행 1060
- 정보-DIY 205
- 정보-맛집 217
- 정보-부동산 39
- 정보-은퇴 259
- 여행기 3422
- 여행기-하와이 388
- 잡담 15475
- 필독 63
- 자료 64
- 자랑 722
- 금요스페셜 106
- 강퇴로 가는 길 11
- 자기소개 661
- 구라 2
- 요리-레시피 70
- 오프모임 200
- 나눔 2699
- 홍보 15
- 운영자공지 32
마모에 ML/DL 전공자 또는 관련 직장에 계신 분들이 꽤 있으신 걸로 압니다.
질문 하나 드릴게요.
오늘 통계전공하는 사람이란 얘기를 잠시 나누었는데, Neural Network (NN)은 parametric model 인가요? 아님 non-parametric model인가요?
어떤 사람들은 NN이 finite number and fixed size of parameter, 즉 weight matrix를 가지고 있기때문에 parametric model이라고 하던데.. 제가 이제껏 알고 있었던건 parametric 또는 non-parametric의 기준은 어떤 형태의 data distribtuion을 모델링 시 미리 가정하는냐 아니냐로 분류된다 였거던요. NN은 특정 형태의 data distribution을 가정하지않고 training set으로 error rate 또는 loss function을 최소화하는 weight matrix를 구하고 그걸 이용해 prediction, classifcation, generation 등을 하니까 non-parametric model이 맞지 않을까요? 물론 특정 형태의 NN, 예를 들자면 variational auto-encoder의 경우 latent space의 data dstribution을 일반적으로 normal gaussain distribution으로 가정하고 모델링이 되니까 parametric model이라고 볼수있지만..
- 전체
- 후기 6764
- 후기-카드 1817
- 후기-발권-예약 1242
- 후기-백신 79
- 후기-격리면제 28
- 질문 57205
- 질문-기타 20691
- 질문-카드 11687
- 질문-항공 10191
- 질문-호텔 5198
- 질문-여행 4034
- 질문-DIY 180
- 질문-자가격리 19
- 질문-은퇴 413
- 정보 24220
- 정보-자가격리 133
- 정보-카드 5221
- 정보-기타 8010
- 정보-항공 3830
- 정보-호텔 3234
- 정보-여행 1060
- 정보-DIY 205
- 정보-맛집 217
- 정보-부동산 39
- 정보-은퇴 259
- 여행기 3422
- 여행기-하와이 388
- 잡담 15475
- 필독 63
- 자료 64
- 자랑 722
- 금요스페셜 106
- 강퇴로 가는 길 11
- 자기소개 661
- 구라 2
- 요리-레시피 70
- 오프모임 200
- 나눔 2699
- 홍보 15
- 운영자공지 32
5 댓글
bn
2021-10-27 06:07:34
대부분의 dnn은 파라미터가 무수히 많은 거지 non parametric은 아닙니다.
https://stats.stackexchange.com/questions/322049/are-deep-learning-models-parametric-or-non-parametric
그루터기
2021-10-27 06:29:31
그런데, 제가 본문에서 언급했듯이 parameter 수가 많고 적음에 따라 정의되는 그 parameter가 아니라 assuming data distribution을 하느냐 아니냐로 정의되는게 parametric이야 non-parametric model 이지 않는가 하는게 제 생각이고요 구글링해보니 여러가지 의견이 보이는군요 아래는 제 의견에 부합되는 링크입니다.
https://www.quora.com/How-is-it-that-Neural-Networks-are-nonparameteric-models
https://www.quora.com/Are-Neural-Networks-parametric-or-non-parametric-models
그리고 걸어주신 링크에 한 댓글도 이런게 있군요
"Deep learning models should not be considered parametric. Parametric models are defined as models based off an a priori assumption about the distributions that generate the data."
bn
2021-10-27 06:54:13
https://en.wikipedia.org/wiki/Nonparametric_statistics
Wikipedia에 보면 non-parametric은 imprecise하게 두가지로 정의되는 경향이 있다는 군요. 하나는 말씀하신대로 parametric distribution이라고 가정하지 않는 경우 두번째는 model의 structure 가 픽스되지 않은 경우네요.
jeong
2021-10-27 07:48:13
오... 신기하네요. 전 nn은 당연히 non-parametric이라 생각했는데 다르게 생각하는 사람들도 많군요. 제 기준은 modeling하고자하는 시스템의 data generation process를 수식으로 표현하여 예측하려는 모델은 parametric. 반대로 시스템/dgp와 상관없이 동일한 모델 폼을 적용하는 범용 모델은 non-parametric이라 생각합니다.
그루터기
2021-10-27 07:52:51
저도 당연히 그렇게 생각하고 있었는데, 구글링 해보니 다른 의견 (정의)이 많이 있어서, 이게 맞다고 단정짓지 못하겠네요.