학교에 계신분들은 ChatGPT 어떻게 대응하실 생각이신가요?

어려운 문제네요. ChatGPT를 좋은 곳에 사용하면 좋으련만.... 

그냥 숙제 편하게 하는 도구로 사용하게 되서 말이에요.

다행이, 제 주변에 중.고등학교 아이들은 ChatGPT가 거짓말 쟁이라면서 사용하지 않으려고 하더라구요.

저는 아무래도 writing intensive 한 전공이 아니어서 별 문제가 안되는건진 몰라도, 학생들의 writing 에 있어서는 generative AI 도구 사용을 크게 신경쓰지 않습니다. 도구를 활용해서 더 나은 writing 을 할 수 있다면 적극적으로 써도 된다고 생각해서요. 저부터도 제가 쓴 글을 다듬는데 종종 활용하고 있기도 하고요. 다만, 내용에 있어서는 학생들이 스스로 책임지도록 합니다. 그냥 무작정 generative AI 가 써낸 내용을 베껴오는 경우는 내용에 오류가 많거든요..

그리고 이건 학부생들한테 알려주는 내용은 아니고 대학원생들만 알려주는건데요.. 예를들면 뭔가 써야할 일이 있을 때, 내용을 다 작성해 놓고나서 refine the following paragraph: bla bla 하는거는 비교적 좋은 답을 얻을 확률이 높은데, write a paragraph about bla bla 라고 명령하면 generative AI 는 생각을 하는 물건이 아니기 때문에 매우 잘못될 확률이 높다 라든가, 이런식으로 활용법에 대해서는 적극적으로 알려주는 편입니다.

암튼 전 도구를 이용해서 좋은 글을 쓸 수 있으면 why not? 이 제 견해입니다.

무슨말씀인지는 알겠습니다. 문제는 좋은 글을 쓰는것을 돕는게 아니라 생성형 AI가 아니면 과제물을 제출도 못했을 사람이 그걸로 credit을 받아가는 일이 생성형 AI로 도움을 받는 사람보다 훨 많을 거라는 데 있을겁니다.

가령 최근 PRC의 타이완정책에 대해 5장짜리 에세이를 써 봐라고 동아시아 정치학 수업에서 과제를 낸다고 생각해 보시면요. 아무것도 안하다가 ChatGPT가 짜준 얼개에 몇개 단어 고쳐서 과제물을 내더라도 규정상 이 학생은 credit을 받아갈수 밖에 없죠. 겉으로 보면 데드라인/word limit을 다 채운거니까요.

물론 생성형 AI가 지금 reference쪽으로는 거의 사기꾼 수준이라 이걸통해 cheating여부를 잡아낼 수는 있긴 한데요. 수십장의 페이퍼를 받고 사기 reference가 포함되었는지 아닌지 하나하나 검증하기는 사실상 불가능하다고 봅니다. 

말씀처럼 글 쓰는 것 자체가 중요한 분야면, 분야에 따라서는 고충이 심각할 수도 있겠네요.

저희는 어느정도 분량의 글을 쓰느냐 자체에는 크게 의미를 두지 않는 분야라 별 문제가 안되어서 그리 깊게 생각을 안해봤었습니다.

(제 분야는 보통은 답이 맞냐 틀리냐, 어떻게 수식을 유도해서 어떻게 풀었냐, 이정도로 채점 가능한 분야라..)

네. 그래서 많이 비관적으로 들릴수도 있으나 이번에 한국에서도 만난 지인들과 공감했던 것이 이런거에요.  글 읽고 쓰는 것이 중요한 인문사회의 몇몇 분과는 이미 죽어가는데 생성형 AI 등장으로 hammer, nail, coffin 상황이 왔다는 거죠. 

근데 답이 맞냐 틀리냐로 채점해도 gpt의 영향력을 배제할 순 없는 거는 마찬가지 아닐까요? 제 과목도 그런 과목인데, 학부생 과목 특성상, 과제가 다 multiple choice questions이에요. 이거 gpt더러 풀라 그러면 순식간에 풀어줄거 같은데요... 저도 고민입니다. 과제 비중을 많이 낮추고 시험 비중을 높여 가져가야 하는건지

다행히 Chat GPT 가 수식을 유도 (derive bla bla) 하는 문제, 증명하는 문제 (show bla bla) 또는 계산문제 (compute bla bla) 를 풀 수 있을만큼 똑똑하지는 않더라고요. 지난학기에 Chat GPT 가지고 여러모로 테스트를 많이 해보았어요. 다만 개념 묻는 문제는 Chat GPT 가 높은 확률로 그럴듯한 말을 만들어내기 때매.. (오답도 그럴듯하게 만들어 냅니다..) 가급적 그런 문제들을 많이 배제했었습니다.

그리고 글을 읽게 하는게 참 어려운건 사실인데요.. 재미난 도구를 하나 알게 되어서 공유하고자 합니다.

McGraw-Hill 출판사의 교재를 텍스트북으로 사용하는 경우에 Canvas 시스템과 연동해서 붙일 수 있는 add-on 웹사이트가 있는데요.. 텍스트북 연습문제를 과제로 내주는 경우에, 온라인으로 그 과제를 풀면서 그 문제를 해결하는데 필요한 텍스트북 내용을 참조할 수 있는 시스템이 있더라고요. 학생이 스스로 자의적으로는 텍스트북을 펼쳐보지 않더라도, 문제를 풀면서 오답을 골랐으면 텍스트북을 읽고 다시 attempt 하도록 반 강제하는 시스템입니다. (물론 안 읽고 읽었다고 버튼 누르고 넘어갈수는 있겠지만요..) 전 이 컨셉이 너무 맘에 들어서 새로운 학기에 한번 적용해 보려고 하고 있습니다.

다만 이 시스템을 쓰려면 아마 학교 전체적으로 학생들이 digital 버전의 텍스트북을 구독하는 시스템이 있어야 할거에요.. 제가있는 학교는 학부생들의 경우 매 학기마다 textbook 이 (한과목당 어사인 된 텍스트북이 몇개가 되든 상관없이) 학생 어카운트에 digital copy 로 자동 렌탈이 되는 시스템이 있습니다. 그리고 학생이 원할 경우 약간의 추가금을 내면 종이버전을 구입할 수도 있고요.

제가 썼던 시스템은 강제하지는 않고 참조할 수 있었던 걸로 기억하는데 그렇다고해도 딱히 학생들이 숙제를 하거나 연습문제를 풀면서 텍스트북을 읽게 하는데 큰 도움이 안되었습니다. 무엇보다도 제가 보기에도 연결된 내용이 문제를 푸는데 직접적인 도움이 안되더군요. 물론 제가 썼던 텍스트북만 그랬을 수도 있으니 한번 직접 확인해 보세요. 

저번학기부터 학교에서 AI관련 policy가 내려왔는데.. 강요는 아니고 필요하면 syllabus에 넣으라고 내용을 보내줬어요. 숙제로 보고서 쓰는건 아예 안시키고, 발표위주로 그냥 합니다. chatGPT가 발표자료를 만들어줄지는 모르지만, 발표를 대신해주는건 아니니까요. 

이거 좋은 방법인 것 같네요. 아니면 발표 + 발표내용을 바탕으로 한 글. 대신 점수는 발표점수 위주로. 하면 어떨까 싶네툐. 

저도 writing이 그다지 중요하지 않은 기초 과목을 가르칩니다. 저의 전략은 chatGPT를 사용할 인센티브를 최소화 하는 것입니다. 매주 온라인으로 단답형 퀴즈를 10문제씩 내는데 (이거 문제은행 만드느라 좀 고생하긴 했어요;;) 틀리면 다시 풀 수 있게 해주고, 문제 풀이 가이드 영상을 찍어서 올렸습니다. 그리고 시험은 저 문제 은행에서 나와요.

chat GPT를 써봤더니 놀랍게도 정답도 잘 맞출뿐더러 어떻게 정답이 도출되는지 설명이 잘 되어있더라구요. 챗GPT로 하나 다른 친구한테 베끼나 숙제 베낄 놈은 어차피 베낀다 생각하면 오히려 열심히 공부하는 학생에게는 챗GPT가 도움이 될거 같더라구요. 어차피 퀴즈를 여러번 시도하면 누구나 만점을 줄 요량으로 설계를 해놨고, 고맙게도 숙제 안내는 애들이 충분히 많기 때문에 점수를 내는데는 큰 지장은 없습니다.

오...이렇게 하면 시험 점수가 다들 너무 높아서 채점하기 어렵지 않으신가요?

생각보다 대책없는 애들이 많아서 C를 주는 비율은 어렵지 않게 확보가 되는데, B+ 이상 맞는 정도의 애들은 거의다 만점을 맡는게 문제가 되어서 최상위권 변별력이 없고 A가 B보다 많아지는 경우가 나옵니다만... 이렇게 점수 넉넉히 퍼줘도 특별히 문제삼는 사람은 없더라구요.

비슷하시네요.. 숙제는 어차피 알아서 배끼는거라 변별력 없고, 적당히 쉬운문제 위주로 내줘야, 배째라는 애들과 그나마 하는 애들이 구별이 되드라구요. 숙제문제 똑같이 내줘도 못푸는 애들이 많아서 쉽게 안내면 C 아래가 너무많아지고, 그러면 장학금이 어쩌고 저쩌고 하면서 찾아오는 애들이 한둘이 아니라, 그냥 쉽게 쉽게.. 꼭 알아야 할것만 무한반복으로 하고, 못하는 애들도 C 가지고 졸업하라고 합니다. 

다행히 A는 30% 이런 규정은 없나 보네요. 대학가서 그 비싼 등록금 내고 공부 안하는건 참...

공부를 안한하기 보다, 학생들이 이미 자본주의적 마인셋으로 수업을 접근하는게 이제 보편화된거죠. 뭔말이야면 인문학 교양수업에서 일주일에 30페이지 읽는것도 거의 사보타지 수준으로 하는 학생들이 자신들이 전공하는 STEM, 경영학 혹은 프리메드 수업에서는 수업에서 요구하는 시간 "이상"을 써가면서 학점방어를 합니다. 얼핏보면 이들의 "불만"이 이해가 가는게 나중 취업과 직결되는 수업에 너무 많은 시간을 써야 하니, 단지 졸업에 requirement이상 이하도 아닌 교양수업에서 너무 많은 것, 특히 라이팅을 요구하면 그게 그냥 싫은거죠. 즉 이들에게 한학기에 수강하는 과목이 4개라면 그 4개는 서로 동일한 금액의 가치가 아니에요. tuition invoice에는 학점당 같은 금액으로 계산되겠지만요. 

인문사회과학 3-4학년 전공강의만 가도 ChatGPT 걱정이 훨씬 덜하죠. 15-20 page짜리 아주 세분화된 paper project는 절대 ChatGPT로 할수가 없습니다. 그러니 이런 수업을 할때는 학생들이 공부하니 마니 그리 걱정할 필요가 없어요. 다 알아서 열심히 공부합니다. 문제는 뉴로사이언스부터 철학에 관심있는 학생들까지 모두가 수강하는 교양수업이죠. 

대학 당국 입장에서도 학점 인플레를 묵인하는게 돈이 되기 때문입니다. 당장 학생들 취업률이 좋아야하고 점수 안나오면 졸업 포기하고 때려치는 학생 비율도 무시 못합니다.

다른 질문입니다만

chatGPT3.5버전하고 4.0 유료 버전하고 많은 차이가 있는지요?

답에 차이가 있는데, 하나가 다른거보다 월등하다 이런 개념은 아니더라고요. 그래도 4.0 에서 내보내는 결과물이 3.5 보다는 좀더 유용합니다. 느린게 단점이고요.

플러그인을 쓸수 있다는 게 장점인 것 같습니다!

읽고 쓰는 것이 중요한 인문사회를 가르치는 것이 바로 접니다ㅠ 전 피할 수도 없고 제재를 가할 수도 없다고 생각해요. 그래서 일부러 쓰게 만듭니다. 대신 어떻게 해야 잘 쓰는지 같이 고민하고 바른 결론을 도출할 수 있게 해야 한다고 생각합니다. 본인이 자각하고 노력하지 않으면 리딩/라이팅 능력이 월등히 떨어진다는 것, 학교는 어찌저찌 생성형 AI로 학점 받고 졸업하더라도 사회에 나갔을 때 기본없이 살아남을 수 없다는 것을 학생들이 자각하는 것 밖에는 방법이 없다고 개인적으로 결론을 내렸어요. 그래서 저번 학기부터 어떻게 현명하게 AI를 사용해야 하는지에 대해 자주 다루려고 했습니다. 페이퍼는 본인의 직접적 경험과 생각이 내용이 되는 reflection paper로 다 바꾸었고, 그러더라도 리서치해서 나오는 information과 경험을 생각을 많이 해서 간결하고 논리적으로 구성해야 하는 synthesis에 초점을 뒀습니다. 일단은 이렇게 가보려고요. 아직 저도 고민이 많습니다. 

많은 부분 동의합니다. 이제 규제로 막을수는 없을거라 생각합니다. 어떤 한 수업에서 ChatGPT를 전면 금지시킨다 해도 어차피 학생들은 다른수업에서 이걸 쓰기 때문에 오히려 금지한 수업을 담당하는 교원이 더 학생들 가르치기 버거워 지겠죠. 

다만 생성형 AI language model의 사용이 보편화될 경우, 소위 written assignment는 그 의미자체가 사라질수 있겠죠. 동일 수업내에 자료를 찾아 읽고 쓰는 학생과 처음부터 AI의 "도움"을 받아 쓰기를 하는 학생들 사이의 형평성 문제는 덤이구요. 

마침 AP news에 이런 기사가 올라왔네요: https://apnews.com/article/chatgpt-cheating-ai-college-1b654b44de2d0dfa4e50bf0186137fc1

저도 Humanities에서 가르치고 있는데, 지난 학기부터 ChatGPT가 가르치는 방식이나 assignment 부분에서 큰 변화를 가져왔어요. 어차피 일어날 일이었고, 결과적으로는 Higher Ed.에 종사하는 사람들한테 college classroom의 근본적인 가치가 뭔지에 대해서 재평가할 계기를 마련해줬다고 생각합니다. 교수로서도 어차피 지금 가르치고 토론한 내용의 90프로는 학기가 끝난 2-3주내로 거의 잊어버리게 될 거고, 당장 제가 가르치는 내용을 구글에 검색하면 더 빠르고, 명확하게 답을 얻을 수 있는 현실을 직시할 필요가 있다는 걸 다시금 깨달았구요.

원론적인 부분이 길었는데, 질문하신 내용에 대한 제 경험을 쉐어하자면, 먼저 수업 부분에서는 지난 학기부터 ChatGPT를 수업에 사용하고 있습니다. 어차피 제 수업은 강의가 길지 않고, peer discussion이 긴 편인데, 모든 세션이 끝나고 수업 마지막 10분 정도를 제가 미리 준비한 질문이나 학생이 원하는 질문을 골라서 ChatGPT에 물어보고 그 대답을 함께 critique하는 식으로 진행했습니다. 의도는 두 가지인데, 첫째는 우리가 함께 토론한 내용을 실제로 2차 텍스트를 보면서 다시 사용하면서 중요한 개념을 스스로 사용할 수 있는 기회를 줘서, 인터넷 컨텐츠를 critical하게 비평할 수 있는 계기를 만드는 거고. 두번째는 이런 장치를 통해서 ChatGPT가 만들어내는 대답이 얼마나 빈틈이 많은지를 indirect하게 알려주는 의도였습니다. 좀 더 장기적으로, 제 학생들이 어차피 졸업후에 Generative AI에 익숙한 세계에서 일하게 될텐데, 어떤 식으로 이에 대해서 접근할지 되도록 일찍부터 생각하게 만들고 싶기도 했구요. 

Writing 과 grading에 대해서는, 일단 writing은 pre-ChatGPT era때보다 자기 스스로의 경험과 identity를 수업의 핵심 질문과 연결시켜서 글을 쓰는 방향으로 많이 틀었습니다. 원래 concept 위주의 assignment는 안 주기도 했지만, 이제는 어떤 특성한 담론을 define하거나 단순하게 elaborate 하는 식의 과제는 내지않고, 자신이 이해한 개념을 좀 더 "I statement" 형식으로 파고 들어가도록 합니다. 또, 함께 다룬 concept A를 contemprary event나 concept B에 적용하는 assignment나 특정 prompt에 대해 답보다는 question-oriented된 페이퍼를 더 권장하는 것도 효과적이었습니다 (후자의 경우 페이퍼를 온전하게 기승전결로 마무리를 꼭 하지 않아도 된다고 학생들에게 얘기했구요). Grading 하면서도 루브릭단계에서부터 명확히 하는 부분은, 난 이 concept의 정의나 그 배경에 대해서 알고 싶은게 아니라, 이 담론들이 너의 삶에 어떤 의미를 주는지나 너가 관심있어하는 분야에 적용될 때 어떤 새로운 관점을 제공할 수 있는지를 더 높게 평가할 거라고 했습니다. 덕분에 학생들이 딱히 AI에게 받을 수 있는 도움이 없다는 게 consensus였습니다. 그리고 채점하면서도 시간은 더 걸리더라도, 학생이 Generative AI를 썼는지 안 썼는지가 별로 중요하지 않아서
제 입장에서도 학생을 의심할 필요가 없어서 더 편했어요.

저도 아직 배워나가는 과정이라 완전하진 않지만  positive reinforcement가 punishment보다 낫고, proaction이 reaction보다 학생들에게 도움이 된다고 생각하고 있습니다. 학생들을 최대한 punishment culture로부터 보호할 방법을 아직 찾아가고 있습니다. 여기 댓글들 보면서 많이 배웠습니다. 

와 이것도 너무 좋은 방식이네요! 

멋지세요!

너무 좋은 방안이어서 무릎을 탁 치고 갑니다 ㅎㅎ

저도 최근에 강의하면서 챗지피티를 사용하기 시작했습니다.

사용은 하지만 아직? 약간 애매한 부분들..저도 고민하고 있던 부분들을 잘 말씀해주셔서 감사합니다.

저도 앞으로 시대의 변화를 받아들어야 하는데 어떻게 받아들일것인가를 항상 고민해왔습니다.

추가로 챗지피티로 과제하는것도 저는 그닥 체크하지 않는다고 말은 했습니다.

언제까지 챗 지피티 써서 과제하면 너 아웃 이러고 살수는 없을거 같아서요.

당장 나도 챗 지피티를 써보니 확실히 좋은부분들도 많더군요.

저는 미술사/건축사/서유럽사를 강의하기때문에, 확실히 챗 지피티에서 많은 내용들이 있는데

앞으로 더 많이 활용할 방법을 찾아봐야겠군요.

좋은 말씀 감사합니다.

의견감사드립니다. 댓글을 읽으면서 여러가지 생각을 하게 되었습니다. 특히 punishment 위주로는 학생들을 이끌기가 어렵다는 의견에는 100% 공감합니다. 

소중한 경험 나눠주셔서 감사드립니다. 정말 좋은 방법이네요. 진심으로 감사드립니다.

저도 이번에 에세이 쓸 게 몇 개 있어서 제 개인적인 작업은 다 마치고 word count와 grammar check 용으로 chatgpt를 쓰고 있는데 제가 원하는 결과물보다 더 잘 만들어줘서 항상 고마워하고 있습니다. 제가 늘 쓰던 표현 이상으로 고급지게 문장을 만들어 줄 때가 있어서 여러모로 배우고 있기도 합니다.

다만 앞서 이야기들 해주신 것 같이 교수님들께 chatgpt는 어려움을 주면서 큰 숙제를 안겨주고 있다고 생각하는데요. 교육에 관심이 있는 제게는 이게 가르침에 대한 새로운 패러다임을 열고 있다고 생각합니다. 이제 수업을 통해서 선생은 지식 전달자의 역할을 과감히 포기해야 하고 인간이 인간에게만 전해줄 수 있는 무언가에 초점을 맞춰야 한다고 느끼고 있습니다. 

어차피 사기업에서 파는 자료나 일타강사들이 올리는 비디오에 비해서 강의를 잘 하는 것은 선생의 입장에서 상당히 부담이라고 생각하고 있습니다. 그렇다면 좋은 기술/방법을 오히려 잘 활용해서 특정 교수/선생만이 알려줄 수 있는 지혜를 전달하는게 학생들에게 가장 큰 이들이 될 것이라고 봅니다. 위에서 본 것 같이 자신의 경험과 관점에 대해서 반성하거나 의견 제시를 하는 부분 너무 좋은 것 같습니다. 자기 주관을 명쾌하게 이야기할 수 있는 학생들은 여전히 많지 않고 한 쪽으로 치우치거나 제대로 몰라서 베끼는 경우도 많죠.

토론, Project based learning/experiential learning을 얼마나 수업과 주제에 맞게 잘 디자인 하느냐에 따라서 수업의 퀄러티가 달라질 것 같습니다.

이 학생은 정신차리도록 채찍으로 몇대 맞아야 할거 같네요..  

네...? 

저만 이 생각 하는게 아니었군요;;

혹시 ai 나 chatgpt 로 writing을 했는지 체크하려고 할때, 어디서/어떻게 체크할 수 있는지 아시는분 계신가요? 인터넷 검색해보니까 여러곳 나오는데 학교에 계신분들은 어떤것을 사용하는지 궁금합니다.

인터넷에 찾아보면 여러 사이트들이 나오는데 결과도 제각각이고 정확도도 그닥 높지 않습니다.

몇개 있긴한데 다른 댓글에서도 말씀하셨듯이 일단 정확도가 떨어집니다. 그리고 무엇보다도 ChatGPT를 표절로 접근하게 되면 문제인게 "원문"자체가 invented된거라 레퍼런스를 찾기가 어렵습니다. 책이나 논문 하다못해 위키피디아에서 복불한건 원문이 빼박증거로 남죠. ChatGPT는 이런식으로 접근했다가는 오히려 교강사가 곤혹스러워질수 있어요. 

안 그래도 요즘 재밌는 사건들이 많은데 지금 chatGPT에서 쓰여지는 자료들을 저작권 문제로 소송에 들어간 케이스들이 있는 것으로 알고 있습니다. NPR에서 들어보니 인터넷에 있는 자료들을 마구잡이로 쓰는 AI 모델들이 저작권 문제가 생길 경우 여태까지 써왔던 모델 자체가 무용지물이 될 수 있다고 하는데요. 어떻게 될지 정말 흥미진진합니다: https://nypost.com/2023/08/17/ny-times-mulls-suing-openai-as-chatgpt-copyright-talks-hit-snag/

윗분 말씀대로 현재 ChatGPT로 쓰여진 글을 detect한다고 광고하는 프로그램들은 거의 사기에 가깝다고 보시면 됩니다. 이상한 사이트에서 "100프로 AI로 썼음" 이라고 판정된 걸 증거로 내밀면 더 곤혹스러운 상황이 발생할 수도 있으니 AI로 쓴 글을 AI로 잡아내는 방법은 지금 현재는 고려하지 않으셔야 해요. 

현재 진위여부 파악은 기술적으로 불가능하다고 보셔야 합니다. 된다고 하는 곳들 다 사기에요.

도구의 발명은 항상 장단이 함께 있는것 같습니다.

모내기를 손으로 하다가 이앙기가 발명되었습니다. 그러면 짓던 농사 그대로 짓고 생산량 그대로 하고 남는 시간에 놀까요 아니면 경작 면적을 넓힐까요?

계산기가 발명 되었습니다. 그럼 산수 공부는 어디까지 해야할까요? root(2) 를 급수 전개 해서 소숫점 5자리까지 구하는 능력이 필요할까요? 하지만 식당에서 계산기 없이 재빠르게 팁을 계산할 정도는 공부해야 할까요?

주판 튕기는게 이미 죽은 기술이 되었지만, 주산을 배운 사람들의 암산 능력 (특히 많은 자릿수, 곱셈까지) 이 있으면 도움이 될까요 아닐까요?

챗 지피티로 증대된 효율로 학생이 시간을 많이 아낄수 있으면, 그 남는 시간을 써서 학생의 배움에 더 큰 도움이 된다면 전 좋은거 같습니다. 과목별 학생이 일주일에 얼마만큼의 시간을 쓰면 좋겠다란 기준이 선생님들께도 있을거 같구요.

증대된 효율은 공짜가 아니거든요 (말씀대로 독해력이나 작문력에 대미지..?) 그러니 기회비용을 잘 따져보는게 좋지 않나 싶습니다.

그리고 챗피티가 도입되어서, 없을때 대비 정말로 학생입장에서 도움이 되는게 어떤 것인가. 단순 시간 세이브인가? 이런것도 생각해봄직 하고요. 기존 시스템이 잘 돌아가고 있었는데 굳이 챗피티를 도입할 이유가 있을까 란 질문도 해봅니다. 미래는 챗피티가 필수다 생각되면, 기존에건 그대로 두고 추가로 챗피티 스킬을 익히는 과제를 내줄수도 있겠고요. 예를들어 챗피티 없이 제출. 후에 챗피티를 사용해 개선. 개선 전 후를 분석해서 본인이 느낀점을 쓴다든지요.