코넬대 스타 행동과학자 연구 부정 스캔들

Chronicle of Higher Ed 기사를 보니 이 모든게 (지금은 삭제된) 블로그 포스팅 하나에서 비롯됐다고 하던데... 입조심 한번 못해서 커리어가 다 날라가는 현장이네요.

위키피디아 설명에도 그 블로그 포스팅 언급됐던데 설마설마 했더니 자기가 자기 제자한테 실험결과 버리라고 한걸 스스로 이실직고한건가요? 초대형 사기꾼 치고는 참 허술한 것 같아서 위키피디아내용이 잘못 된건가 생각했었거든요. 이 사람은 책도 팔아먹고 인더스트리가 따라 움직였는데 그냥 커리어 날라가는 것은 둘째 치고 민형사상 책임을 물어야하지 않을까요?

The problems with his research began to come to light after he published a since-deleted blog post in which he gave advice to aspiring academics. That advice appeared to condone questionable research practices. As a result, a number of researchers who make it their business to ferret out flawed science started digging into Wansink's work.

https://www.chronicle.com/article/As-Cornell-Finds-Him-Guilty-of/244584?cid=wcontentgrid_6_32ad_5

제가 읽은 내용은 이거구요. 정확히 블로그에 어떤 내용이 있었는지는 모르겠어요.

트위터가 아니라 블로그가 a waste of time인건가요? 퍼거슨경 1승 추가해도 될런지(...) ㅋㅋㅋㅋ

https://namu.wiki/w/%ED%8A%B8%EC%9C%84%ED%84%B0%EB%8A%94%20%EC%9D%B8%EC%83%9D%EC%9D%98%20%EB%82%AD%EB%B9%84#s-3

참 안타깝네요. 일어나선 안되는 일인데. 거짓으로 커리어 쌓았네여.  저 페이퍼들에 참여한 그 랩 출신들 여기저기 교수가 되어 있을텐데, 그 분들은 지도교수 따라하지 않았음 좋겠네요. 

대학원 과정에서 지도교수에게 연구윤리를 배우는 게 큰게 저런 걸 배웠으니 어쩌나요. 대가 대접 받은 분이라 교수된 제자들도 많을 것 같은데 그분들은 가만 놔두나요? 그분들 논문들도 멀쩡할 것 같진 않아요. ㅠㅠ

JAMA 논문이면 IF가 엄청 난데 참...한두 편도 아니고....

뭔말인지 모르겠... 그 전에 음식 행동실험에 대한 검색부터 해봐야겠네요.@@ 처음 들어보네요 ㅋㅋ 

이 사람은 

맘에 안 드는 데이타 한두개 실격시키고 리그레션 돌린게 아니고 

리그레션 테이블에서 맘에 안드는 숫자를 이리저리 바꿨나 보네요 

쉬운길을 돌아갔어 

특정 인종들에서 데이터 조작한다고 말이 많았는데

주류 학자들도 이런 일을 벌인다니 놀랍네요...

아마도 

밑에 학생들이 있고 

데이타에서 아무 것도 안 나오는데 

학생들끼리 

너 졸업 안 할꺼야 

너 박사 안 받을꺼야 해서 

에이 선배들도 다 그랬는데 뭐 

리서치가 다 그런거지 해서 분위기 잡히고 

선생님 이렇게 좋은 숫자가 나왔어요 

선생님은 오 그러냐 하고 글 좀 봐주고 자기 이름 넣고 

salvage 라는 말도 

숫자를 조작하라는 말이 아니고 

이리 저리 변수 바꿔서 돌리다 보면 별이 딱 뜨는데 

A의 B에 대한 효과가 안 나오면 

C의 D에 대한 효과로 주제를 바꿀 수도 있는 거고 

좀 금기의 선을 넘은거 같죠 

그런 게 소위 p-hacking이죠? 선을 넘어서 일을 너무 크게 벌였어요. ㅎㅇㅅ처럼요. 

Mindless Eating 저두 아주 재미있게 읽었었는데.... 안타깝네요 ㅜㅜ 

이 곳에서 박사를 받았고, 관련 전공자입니다. 이 사건에 관심이 아주 많습니다. (다행히 저는 이 분이 박사 커미티에 들어있지 않았습니다만, 제 지인 중에도 이사람 공저자가 있습니다. 이 정도면 제 신상이 다 노출되는 것 같네요.) 이슈를 요약하면, 유의미한 treatment effect가 나오게끔 데이터를 가공하고 조작하는 것을 종용하는 글을 chronicle of higher ed에 올렸고, 이것을 시작으로 이사람의 모든 연구를 확인해 봤는데, 연구윤리를 위반하고 연구부정행위를 저지른 사안들이 다수 발견되어 많은 페이퍼들이 철회되었습니다. 더 일찍 해고되었어야하는데, 조사가 너무 길어졌고, 그 동안 코넬이 보여준 미온적인 태도도 실망스러웠습니다. 문제가 된 대부분의 연구의 공저자인 David Just도 징계를 받아야 한다고 봅니다.

개인의 연구 일탈이라고 보기에는 p-hacking은 큰 이슈입니다. 사실 다른 필드에서는 더 오래 전부터 논의가 되었는데, 실험을 통한 데이터 생성 작업이 비교적 최근에 이뤄진 사회과학계에서는 이제서야 이슈가 되니 늦은 감이 있지요. 데이터를 가지고 분석을 하는 모든 사람들은 "통계적으로 유의미한 결과"를 찾으려 노력하는데, 보통 p값이라는 숫자가 0.05보다 작으면 (5%의 유의수준 하에서) 통계적으로 유의하다고 합니다. 그리고 관행적으로 p-value가 0.05이하인 걸 표시하기 위해서 추정된 값에 *표시를 붙입니다. (이 *표시가 많은 연구일수록 더 출판이 잘된다는 publication bias도 있는데, 이는 연구윤리와는 직접적 관련이 없으므로 논의하지 않겠습니다.) 이 p-value가 0.05(혹은 1/20)라는 걸 아주 대충 말로 풀어서 하면, "유의미한 무언가가 있다는 통계 결과가 20번 중에 한 번 꼴로 틀릴 수 있지만, 나머지 19번은 맞는 말이다"정도로 할 수 있을 것 같습니다. 

이 말을 거꾸로 하면, 사실은 통계적으로 유의미한 차이가 없어도 20번 반복해서 실험하여 새로운 데이터를 얻으면 1번은 어쩌다 실수로 있을 수 있다(false positive)라는 말입니다. 여기에 이야기를 더 극단적으로 이어가면, 실험 데이터를 여러 번 구해서 그 중에 * 표시가 얻어걸린 것을 논문으로 출판할 수도 있다는 것이고요. p-value가 원하는 대로 나올 때까지 조작을 한다는 걸, p-hacking 이라고 부르는데, BW는 대놓고 "이런게 연구다"는 식으로 chronicle에 올렸으니.... 부끄러움은 다른 연구자들 몫이고요. p-hacking을 하는 다른 방법들은 p<0.05가 딱 되는 순간 데이터 생성을 멈추거나, 일부의 데이터를 임의로 삭제해서 p<0.05를 맞추거나, 데이터를 임의로 가공해서 p<0.05를 맞추는 것 등 다양합니다. 하지만 한 개의 연구를 가지고 이 연구자가 p-hacking을 했는지 안했는지 확인하는 것은 쉽지 않습니다. 정말로 우연히 false positive results가 얻어졌고, 그걸 report한 거일 수도 있으니까요. 하지만 replication study를 계속 할수록, 잘못된 연구인지를 알아내는 경우가 많아질 테고, 그 와중에 누군가 연구윤리를 위반하였는지를 알 일이 많아질 테니, 앞으로 비슷한 일이 더 있을 수도 있다고 생각합니다. 

참고로: Amy Cuddy의 Power pose연구 아시나요? TED 톡에서 가장 많이 본 강연 중 하나일 텐데, "파워 포즈를 취하면 성공과 자신감을 고양시키는 호르몬 변화가 일어난다"는 엄청난 결과를 발표했습니다. 이것도 False positive로 밝혀졌습니다. 재현성 위기(replication crisis)의 시대라서... 한편으론 재밌습니다.

파워 포즈를 취하면 호르몬뿐 아니라 

장풍도 나가는데 

앉은뱅이가 걷고 

병자가 낫는데 

과학이 점점 복잡해지고, 한 그룹의 실험을 다른 그룹들이 재현하는것도 점점 어려워지는 문제가 있지요. 생물학쪽에서는 p value의 허구성에 대해서 예전부터 꾸준히 지적되어 오기도 했지만 또 그것보다 더 좋은 다른 방법이 있느냐 하면 그것도...

한가지 방법은 실험이든 데이타 분석이든 

그 전에 나 이런 실험할 거다 

나 이렇게 데이타 분석할 거다만 가지고 

퍼블리시 가부를 결정하고 

결과는 별이 뜨던 말던 

나온대로 보고하면요 

사실 질문이 재밌으면 결과야 서프라이징 하든 말든 

별이 안떠도 의미 있는 거지 

사실 nsf funding 을 이렇게 하긴 하죠 

펀딩은 그렇게 줄 수 있어도 논문을 그렇게 퍼블리쉬하는건 불가능하니까요..

왜 불가능요 

journal of insignificant results 도 있는데 

가능은 하겠지만 이런데 내면 펀딩 받기 어려울것 같은데요. 결국 돈이 문제네요.

 기득권을 차지하고 있는 메이저 저널들이 그런 방식을 받아들일리가 없으니까요. 지금도 충분히 '큰' 연구결과들이 못 실려서 안달인데, 어떻게 결과가 나올지도 모르는 연구 결과를 실어준다고요?

히든고수님은 진짜 모르시는 게 없네요. American Economic Association에서도 실험 프로토콜을 등록하는 플랫폼을 유지하고 있습니다. https://www.socialscienceregistry.org/ 이걸로 퍼블리쉬가결정되는건 아니지만요- 필드 실험 하는 사람들은 거의 다 등록하고합니다. 

다른 방법은 블락체인 기술을 사용해서 데이터 조작을 불가능하게 만드는 방법도 있겠네요. 원하는 값 딱 나왔을 때 멈추는 방법은 유효하겠지만요.

데이터 조작이 개별 숫자 단위에서만 일어난다면 가능한 방법입니다만, 실험 세션 여러개를 (파일럿 실험이고, 뭐 진행중에 뭐가 잘못됐고 하는 등의 그럴싸한 이유와 함께) 통으로 지워버리면 그건 어떻게 할 도리가 없습니다. 그런 이유에서 실험계획을 등록하는 게 중요한 것 같고요. 

이 시스템에 대해서 잘 몰라서 여쭙니디. 실험 다 하고 스토리 좋게 나오는 결과만 선별해놓고 그 계획만 올리고 나중에 실험 결과도 이전 결과 올리면 어떻게 되나요? 일종의 타임스탬프 조작인거죠. 이런 걸 알아낼 방법이 있을까요? 어차피 맘먹고 조작할 사람들은 이렇게도 할 것 같긴 한데, 사람이 실험대상이면 사람 모집 공고하는 등의 과정까지 감추기는 힘드니까 조작이 어려운걸까요?

맘먹고 조작하려면 정말 어떻게든 하죠... 말씀하신것처럼 사회과학 실험들은 human participants가 항상 있기 때문에 모두의 눈을 속이기는 (혹은 모두를 입단속하기는) 쉽지 않을 것 같습니다. 

저는 실험을 안해서 아주 자세히는 모르지만, 박사과정 때 주위에 보면 (사회심리학) 실험결과가 맘에 안들면, 그 실험 셋을 그냥 버리고 다시 하고 다시 하는 학생이 있었어요. 같은 분야 하는 학생이 그거 보기 안좋다고 얘기해서 기억이... 지금은 유수대학의 교수가 돼있습니다.

학생들도 야금야금 저러는 것 보면 그쪽 분야가 상당히 왜곡된 것인데, 여지껏 출판된 페이퍼들과 그 결과들 중에 쓰레기가 너무 많을 것 같아요. 뭐 거기까지 안 가더라도 출판된 페이퍼들 중 99% 이상은 어차피 쓰레기 아닌가.

그러게요. 얼마전에 관련 세미나를 들었는데 power pose가 p-hacking의 예로 나오더라구요. 특히 심리학 연구 분야에서 이에 대한 논의가 활발한 것으로 알고 있습니다. 

그래서 요새는 데이타 수집 전에 분석 방법을 정리해서 public repository에 먼저 올리는 것을 장려하기도 하더군요.

원글에 소개된 연구자의 사례는 매우 안타깝게 생각합니다. 그런데 제가 심리학 전공은 아니지만 커디교수 연구에 대해서늣 다른 의견도 있는 것 같아 소개드리고 싶습니다.

https://www.google.co.kr/amp/s/www.forbes.com/sites/kimelsesser/2018/04/03/power-posing-is-back-amy-cuddy-successfully-refutes-criticism/amp/

그 분야의 생생한 소식 전해주셔서 감사합니다.

'재현성 위기의 시대' 라는 말에 동감합니다.

아! 비슷한 분야에서 연구하면서 한때 이 분 페이퍼 보면서 영감을 많이 얻기도 했었는데... 안타깝기도 하고... 혼란스럽기도 하고... 윗분들 말씀처럼 replication crisis 의 시대라는 것에는 두번 세번 동감합니다. 

.

Amy Cuddy가 아카데미아를 떠난 적이 없기 때문에, 돌아온 건 아닙니다. 원래부터 아카데미아에 계속 있었는데 차츰 강등되고 있지요. HBS 테뉴어 트랙을 떠나서 Public Health로 간 것도 벌써 1년전 얘기고요, 지금은 심리학과 lecturer입니다. 1년 전쯤 뉴욕타임스에 아주 자세한 기사가 올라왔는데 https://www.nytimes.com/2017/10/18/magazine/when-the-revolution-came-for-amy-cuddy.html 이 시기에 Public Health School로 옮기게 되어 그렇게 알고 계셨나봐요. 

그리고, Wansink입니다. 일부러 sick하다고 언어유희를 하시는데 제가 못알아들은건가요..ㅎㅎ

사회과학에서 survey나 실험참가자 모집 같은 sampling 기법의 문제라고 보입니다. 예를 들어, 마일모아 게시판에도 "박사과정 논문에 쓸 데이터 수집중인데 설문조사 참여해주세요"라는 글이 종종 올라오는데, 이런 식으로 데이터를 모으면 최소 대표성이 없는 샘플이 되고, 최악은 조작이 너무 쉬운 데이터가 되죠. 실험 참가자 모집도 random sampling에 기반한 방식으로 좀 바뀌어야해요. 가장 쉬운 방법으로는 전문적인 sampling 기업을 만들고, 연구자가 sampling 기업에게 데이터 수집을 outsourcing하게끔 강제하는 것이죠.

그리고 academic journal에서 심사하는 과정도 너무 불투명합니다. 퍼블리쉬를 많이 하면 유명해지고, 유명해지면 권력이 생기고, 권력이 생기면 퍼블리쉬를 쉽게 할 수 있는 순환 고리를 어디선가 끊어야하는데, 이게 쉽지 않아보이는군요.

근본적인 문제네요. 연구자 개개인의 integrity로 끌고 가면 좋은데, 한국에서는 몰라도, 미국에서는 그게 가능할 줄 알았는데 아닌가봐요.

인더스트리에서도 개구라 같은 프로덕트 얼렁뚱땅 만들어놓고 그럴 듯 하게 포장해서 팔아먹고 다니는 꼴을 봐서 참... 답답합니다.