data science?

data scientists 중에 phd in data science 를 가지고 있는 사람들 별로 없을걸요? (field of study 가 생긴지 얼마 안 돼서)  대체로 phd in engineering, math, or quantitative science 따고 data scientist 가 된 케이스가 많아서 엔지니어링 박사 학위 경력은 당연히 인정이 되죠 

글쎄요 하드웨어 경력을 잘 써먹을 수 있는 data science 직업이 뭐가 있을지는 잘 모르겠는데요  electrical engineering 전공이시면 어딜가나 data scientist 로 대 환영입니다 ㅎㅎ 

저도 궁금하네요. @tofu님의 댓글 기다려봅니다.

장점은 많아요 

기본적으로 electrical engineering 에서 배우는 math 랑 data science 랑 겹치는 부분이 진짜 많아요 

(probability theory, linear algebra, system id 등등)

거기다가 signal processing 이나 information theory 까지 다 data science 랑 직접 연결이 되는 과목들이거든요 

그리고 ee 전공이면 다 어느 정도 programming 랑 system design 을 한 경험도 있고

제일 중요한 건 engineering program이 좀 더 problem solving based 이라 data scientist가 하는 일이랑 잘 맞아요

보통 ee 전공한 사람들의 부족한 부분은 stats 에 약하더라고요  근데 이건 금방 배우니까...

에니웨이 요즘에 data scientist 라는 사람들 많은데요 math foundation 이 없는 분들은 진짜 힘들어요 (가르키기도 힘들고 자기 자신들도 힘들어서 결국 하는 일은 data analyst 정도 밖에 못하거든요) 

아.... 댓글 감사합니다. data scientist와 data analyst의 가장 큰 차이점이 무엇인지 말씀 부탁드려도 될까요? 제 친구 프로젝트 팀에도 data scientist가 있는데 그 분이 프로젝트에서 담당하시는 대부분은 data analysis 와 관련된 것이라서 실제하는 일은 비슷하구나... 라고 생각했는데 probability theory가 요구된다고 하시니 제가 너무 단편적으로만 알고 있었던 것 같아서 부끄럽습니다. 

industry standard 가 없어서 data scientist 라고 해도 회사마다 완전 다른 수준의 일을 할 수도 있고 이게 좀 애매해요

제가 보기에는...

data analyst 는 보통 data 가지고 data munging/cleaning 하고 시키는 analysis (correlation 아님 logistic regression 정도 ?) 나 statistical testing 같은 거 하고 chart 만들고 (주로 excel 많이 쓰고?)

data scientist 는 무슨 (business) problem 을 solve 하기 위해 좀 더 다양한 method 들을 알고 있어야 하고 implement/test 할 수 있어야 합니다  (보통 python, r, 그리고 js for visualization 많이 씀) 그리고 이런 종류의 결정도 할 수 있어야 합니다

어떤 data가 필요한가 어떻게 collect 하나 

데이터에 문제가 있으면 어떻게 고치나 

어떤 모델링 방법이 이 데이터와 problem에 적합하나 

이 모델을 테스트 / validate 은 어떻게 하나

result 을 어떻게 visualize 하나 등등

machine learning,  bayesian inference, estimation theory 같은 건 자주 접하게 돼서 기본적인 probability theory 는 잘 알수록 좋아요  

확률미분방정식이 spde 인가요? 암튼 수학자는 machine learning method 쪽에 기여해야죠  완전 새로운 방법을 개발할수도 있고 좀 더 빠르게 계산하는 방법, better optimization 이런 것들? 아니면 application 하나 잡고 새로운 모델링 방법 개발? 근데 왜 학교에서 그런 무언의 압박을 주나요??   둡둡님 말씀대로 실용통계 일도 많아요 

아무래도 grant도 그런 쪽으로 많이 나오니까요. 제가 아는 machine learning은 optimization이랑 neural network인데 neural network은 거의 "이렇게 네트워크 짜고 돌려보니까 되더라" 수준으로 알고 있고 optimization은 지금 제가 연구하는 분야입니다. optimization은 결국 미방(편미방이든, 확률미방이든, SPDE든 )으로 바꾸어서 풀게 되는데 이건 그냥 traditional 한 수학아닌가 싶습니다.

수학 쪽에서 기여를 하려면 theoretical 한 결과를 내야 논문을 낼 수 있는데 data에 무슨 theory를 만들 수 있는지 상상이 안 가네요. 

예를 들어 Principal Component Analysis같은 경우는 행렬의 eigenvalue랑 eigenvector 구하는 건데 결국 어떻게 빠르고 좋은 결과를 낼 것인가잖아요? 정확하고 빠르게 구현하는 방법이야 너무 classical한 문제라 손댈 게 없어보이고 정확성을 낮추는 대신 더 빠르게 구하는 문제는 거의 pratitioner의 intuition문제일 거 같아요.

핫하다고는 하는데 기존 분야와 겹치지 않는 data science만의 논문쓸 거리가 있는지 모르겠어요. 통계학의 rebranding같은 느낌이 많이 들어서;;;

CS쪽의 optimization은 컴퓨터가 0/1 위주의 바이너리인 걸 감안하면 주로 integer programming 이나 integer binary programming 쪽으로 하는 경우가 많습니다.

"이렇게 네트워크 짜고 돌려보니까 되더라" 정도의  일이 결국 heuristic이고 이걸 하는 이유가 주로 NP Hard라서 최적의 solution 을 찾기 힘든 경우가 많기 때문입니다. 수학/통계학 전공하신 분들의 경우 기초가 워낙 탄탄하니, 학습 속도도 워낙 빠르고, 졸업하고 좋은 직장에 취직하시는 경우가 많은 것으로 알고 있습니다.

자세한 설명 감사드려요~ 차이점을 좀 알게 된 것 같습니다.

작성하신 내용을 보면 data analysis와 data scientist가 같은 작업을 하는 것으로 읽힙니다. :)

첨언을 하면, 결국은 old school methods들을 어느 정도로 이해하고 사용하는 지로 귀결이 되더군요.

그리고 old school methods을 세련되게 사용하기 위하여 다양한 방법들을 이해해야 할 필요가 있고요.

+ 물론 분야에 따라 다르긴 합니다. (가령 genomics 라던가 proteomics 같은) 사람의 지식이 제약적인 분야일 수록 다양한 시도가 이루어지고, 사람의 지식이 일정 수준 이상 정립된 분야일 수록 그 끝은 regression이고 잘 디자인된 regression의 정확도 및 해석 능력을 따라잡기가 어렵더군요. ;;;

+ 분야에 따라 다르지만, SAS 역시 광범위하게 사용됩니다. 사견입니다만, 기업 규모의 데이터 가공에는 SAS를 능가할 수 있는 툴이 그리 많지는 않으리라 생각이 되네요. 어찌되었건 데이터 마이닝의 시작은 데이터 가공이죠. :)

ㅎㅎ 그러게요 저도 읽어보니까 헷갈리네요. 원래 포인트는 아날리스트는 시키는 것들을 실행하고 사이언티스트는 프로세스를 디자인하고 설명을 할 수 있어야 한다는 거였는데 ㅠㅠ

그리고 맞아요 spark, tensorflow, etc 이런 것들보다 훨씬 많이 사용되는 sas 빠트릴 수 없죠 특히 enterprise 에서요 

저희분야(문과)에서는 요즘 computational scientists 완전 hot해요. 오히려 저희 과 박사들은 saturation이 심해서 출신성분(? 인종, 문화, 언어, 출신학교, 출신전공 모두) 좋은 백인 극소수만 top school 교수로 진입하는데, computer science, statistical physics 하시는 분들은 중국이나 한국에서 박사하시고도 미국 포닥 한번 거쳐서 탑스쿨 교수로 진입들 하세요. 문과로 넘어오는 분들은 그래도 뭔가 어떻게라도 사회현상이라고 frame 가능한 현상 연구하시긴 하지만요. 그런데 아마 그쪽은 인더스트리 연봉이 저희과 탑스쿨 조교수보다 더 쎄지않을까 싶네요.

ㅎㅎ 우리과 교수님 열받으시면 매번 하던 말  computer science is an oxymoron!! computer is not science! 

필드자체를 Science라고 부르는 부분에 대해서는 논란의 요지가 다분한점 많이 공감하는데 잠깐 지나가는 유행이라는 주장에 대한 근거는 쓰신글에 보이지가 않네요. 왜 그렇게 생각하시는지 여쭤봐도 될까요?

제가 보기엔 완전 science 맞고 지나가는 유행은 더더욱 아닌데 ㅎㅎㅎ 따지고보면 예전부터 있던 quant, risk modeller, statistician, engineer, computer scientist 머 이런 직업들이 이제 data랑 얼마나 관련됬나에따라 data scientist 로 불리기도 하는거죠 완전 새로 뿅하고 나타난 field 는 아니니까요.. 제가 보기엔 얼마에요님이 controversy 를 약간 좋아하시는 듯요ㅋㅋㅋㅋ

+1,000,000

뭐 사람마다 기준이 다르고 생각이 다르다고 하지만, 얼마에요님 댓글은 좀 아닌듯 싶습니다.

예전에 컴퓨터 사이언스가 무시받던 시절이 떠오르네요. (CS는 당시 제 때는 한 학년에 학과에 학생이 10댓명 정도 있었나 했는데, 지금은 200명이 넘는 인기학과죠) 지금은 누구나 전공하고 싶은 가장 핫한 분야죠? 

데이터 사이언스도 마찬가지라 봅니다. 당연히 새로운 분야니까, 아직 체계가 덜 잡혀있을 수 있습니다. 하지만 절대 지나가는 유행은 아니라고 생각하고, 앞으로 수요도 더 많아 질거고, 데이터 사이언스 쪽으로 공부하면 앞으로 컨트리부션 할 부분도 많을 거라고 생각됩니다.

하드사이언스에서 하드사이언스 스텐다드(더 엄밀)에 맞는 결과들이 나오고

OO사이언스에서 OO사이언스 스텐다드(덜 엄밀)에 맞는 결과들이 나오는데

그 스텐다드가 다름의 차이가 연구 참여자들의 능력, 태도에 있다고 생각하시는 듯 합니다.

연구 대상이 다르고, 법칙이랄 것들의 불확실성이 다르고 여러 다른 이유들이 있을텐데요.

theory 나 hypothesis 를 prove/disprove 하는 것만 싸이언스가 아니죠.  science = a department of systematized knowledge as an object of study 라고 사전에 나오고요 라틴어 scientia 에서 나온 단어인데 뜻은 knowledge 입니다. data science 만큼 science 라고 불릴 만한 field 가 있을까요? ㅎㅎㅎ 

얼마에요님이 말하신 뿌리 깊은 field 에서는 data 가 대체로 theory 를 테스트 하기 위해 쓰여지지만 지금은 시대가 완전 변했거든요  지금 이 세상에 존재하는 90%의 데이터가 last 2 year 에 생겼다고 하는데 기존에 쓰던 mathematical method 나 computing/engineering infrastructure/solution 들이 더이상 이렇게 무작정 커져만 가는 그리고 예전에는 상상도 못하던 새로운 data 를 제대로 처리할 수가 없잖아요 그래서 이제는 데이터가 조연이 아니라 주연이 될 필요가 있고 거기에 맞게 새로운 field of study 도 생긴 거라고 생각하는데요 

전 아무리 봐도 얼마에요님이 다 아시면서 게시판을 활성화하려고 일부러 이런 댓글 쓰시는 것 같아요 ㅎㅎㅎ

+1

매니지먼트 사이언스가 한번에 훅갔다는 건 또 무슨 얘긴지 모르겠네요.;;

아 죄송합니다. 정색하려는건 아니었는데 제가 분야에 관심이 많아서 왜 그런 생각을 하셨는지 궁금하셔서! 하둡이 뭔지도 모르고 분야 전망에 대해서 의견 개진하시는거 보고  농담 하시건가 긴가민가 하기도 하고 ㅋㅋ 통계학이나 applied math와는 문제 접근방법이 다른데... 컴퓨터 좋은거 가지고 데이터 규모 늘려서 하는건 더더욱 아니고... 뭐 어쨋든 무슨 생각이신지 알겠습니다. 답변 감사해요!

재미도 없고 영양가도 없고 여러 사람들이 불편해하신 것도 맞지만.. 

그 분야에 대해 제대로 알지도 못하면서 쓰신 것 같았습니다.

얼마에요님도 가방끈이 짧지는 않으실 것 같은데 제대로 알지도 못하는 다른 사람 전공에 대해 그렇게 말하는 태도는 옳지 못하다고 봅니다.

사과하시려면 제대로 하셨으면 좋겠습니다.

추가로 econometrics, human genetics, machine learning, 많은 학문에서의 quantitative research 모두 데이터 사이언스라고 봅니다.

이 중 어느 하나라도 중요하지 않은 분야가 있나요?

당장 glassdoor가서 data scientist 평균 연봉부터 보고 오시는게 어떨까 합니다.

+1

아마 이쪽 분야를 잘 모르시는 것 같습니다.

 Graph Theory (그래프 이론)은  네트워크나 관계를 파악하기 위한 이론으로 나름 역사가 꽤 있습니다.  

소프트웨어적으로 Big Data부분 문제해결을 해온 지난 트렌드 대비 (Hadoop, Spark, etc) 최근에 딥러닝 부분 (Tensorflow, Pytorch 등) Computational 한 Challenge들은 큰 회사들이 하드웨어적 부분으로 많이 해결하려는 노력이 많이 있어요. Parallelize가능한 연산은 GPU를 사용하는 부분에서부터 딥러닝용 전문 하드웨어 개발이 구글, Nvidia에서 한창입니다. 이런 직접적인 하드웨어 분야가 아니더라도 실제로 Distributed Computing 이해도나 EE다양한 수업들이 데이터사이언스하고 워낙 연관성이 높아서 Tofu님 말씀대로 단순 EE백그라운드 가지고 나중에 머신러닝 데이터사이언스분야 공부하는데 훨씬 수월한 부분이 많으실거 같아요 : ) 

아!! gpu 맞아요! 하드웨어면 당연히 연관된 경력이네요  distributed system 대세인데..  

SPARK도 이젠 한물 지난 트렌드라니.. 정말 빠르네요... 

Tensorflow 많이들 쓰던데, 공부 좀 열심히 해야겠습니다... 

아 Spark가 한물 지난 트렌드라는 뜻은 아니었습니다! 최근에 한창 연구개발이 진행되고 있는 Bleeding Edge가 Deep Learning쪽이지만 일반적인 회사들 모델 개발및 사용 측면에서는 Spark쪽이 훨씬 활용도가 높은것 같아요. Scalability 측면에서나 API Maturity도 Spark가 높구요 ㅎ_ㅎ

그렇군요...

하둡으로 하던 대용량 데이터 저장을 이젠 In-memory 위주인 Spark로 점점 대체되어가는 추세로 알고 있었는데, 정말 이쪽은 하루가 다르게 발전하네요.

정말 하나 하나 따라잡기 힘듭니다.. T.T.;

data scientist 에 대하 좋은 좋언은 이미 다 나온 것 같아서요, 저는 다른 조언을 좀 드리려고 합니다.

사실 세상에서 가장 운 좋은 사람이 자신의 박사논문으로 평생을 먹고사는거라고 합니다.

일단 자신보다 자신의 논문을 잘 아는 사람이 세상에 없으니 걱정이 없겠죠 ㅎㅎ

근데 이 말인 즉슨, 대부분이 박사들이 본인의 졸업논문과는 상관없는 삶을 살게 되는 것 같습니다.

컴아키 전공했다가 ML가속기 하드웨어 컴파일러 하고 있는 분,

컴아키 전공했다가 ML모델링 하고 있는 분,

비쥬얼라이제이션 전공했다가 classification 하고 있는 분,

제 주변만 봐도 엄청나게 많은 사람들이 자신의 박사논문과는 다른 일을 하면서도 행복해하고 즐거워하고 좋은 성과 내고 그러고 있습니다.

요는, follow heart 하세요 ㅎㅎ 지금까지 하드웨어에서 이뤄온 것들, 그거 다 날라가는거 아닙니다. 당장 관계없는 일 하는 듯 해 보여도 그 때 체득한 문제 해결능력과 근성은 어디 안간다는게 제 생각입니다.

"당장 관계없는 일 하는 듯 해 보여도 그 때 체득한 문제 해결능력과 근성은 어디 안간다는게 제 생각입니다."

저도 여기에 강력하게 잔뜩 힘주어 공감합니다. 또 자기 연구와 다른 일 하면서도 좋은 성과내고 그러는 것이지요. 암요!

요사이 트렌드는 대부분의 이공계 학과에서는 CS 수업듣고 Applied Mathematics + Statistics (+Applied Statistics) 베이스로 각자의 domain 문제들을 푸는 쪽으로 연구들을 많이 하더군요! (저도 그랬구요 ㅎㅎㅎ) 결국 DS (+DA), ML, AI, Bayesian statistics 등을 툴 삼아 문제 해결을 했다는 점에서 범용적으로 data scientist 타이틀을 다는 경우도 많구요.

반대로 CS에 있는 친구들은 아예 알고리듬을 파는 경우가 아니면 domain 을 많이 찾아 다니더군요. (나 따끈따끈한 툴들 잘 쓰는데... 어디 좋은 주제거리 좀 없소?)

좀 더 지켜보면 이 세계가 어떻게 흘러갈지 어떻게 디파인 될 지 선명해 지지 않을까요? 다양한 분야에서 다양하게 적용하느라 아직 명확한 선은 안그어지는 것은 아닌지, 혹은 그럴 필요조차 없는지 생각해 봅니다.

맞습니다....

도메인 별로 워낙 문제 해결 방법이 다르다 보니, measure부터 시작해서 기존의 methodology 들을 그대로 적용하기 어려운 경우가 많아서, 새로 만들어야 하는 경우가 많더라구요.. 

AQuaNtum 님도 EE 쪽에서  cache hitting rate 높이는 연구 보면 거의 optimization이나  stochastic processes 쪽이 연구 tool 이던데, 이쪽 페이퍼 읽으시는게 그렇게 어렵지는 않으실거 같아요... 

"요는, follow heart 하세요 ㅎㅎ" <== 이 부분 정말 공감합니다.

지금 그 순간에 좋아하는 일, 가장 하고싶은 일 하시는게 정답인 것 같습니다. =)

와...본문과 댓글들 보면서 많이 배워갑니다...^^ 정독할 만한 가치가 있다고 생각되는 내용들이네요..

전문가 님들이 많이 계신 것 같아서 질문드릴게요:

학부를 수학/통계로 전공하고 대학원을 통계로 지원할까 생각 중인 학생인데, 어떤 주제로 공부 및 연구를 해야 machine learning, data science 등의 인더스트리에서 핫한 분야로 넘어가기 좋을까요? 사실 primary interest는 물리 쪽 문제들 해결하는 applied math를 공부하고 싶긴 한데 이쪽 문이 좁다 보니 plan B도 항상 준비해야 할 것 같아서요...

이제 막 학부를 졸업하셨으면 뭐가 대세일지는 아무도 모르죠...

하고 싶은거 하세요. applied math 좋을 것 같아요. 인더스트리를 정말 잘 가시려면 뒤도 안돌아보고 cs죠 근데...

CS는 백그라운드가 아예 없어서 바로 헤딩하기엔 좀 겁이 나서요. 잘 하는지 적성에 맞는지를 모르다 보니... 프로그래밍이야 요즘 안 쓰는 분야가 없다 보니 계속 배우긴 할 것 같아요. 조금이나마 더 (학계 밖에서도) 쓸모 있는? 분야를 알고 싶어서 여쭌 거였어요. 답글 감사합니다!