MileMoa
Search
×

더욱 발전된 구글 AI assistant (duplex) 대단하네요.

방방곡곡, 2018-05-09 18:18:37

조회 수
3897
추천 수
0

마일과는 상관 없는 주제지만... 이런 쪽에 관심이 많다보니, 마모 분들 생각도 듣고 싶고 해서 올려봅니다. 

 

 

 

 

작년 말에 구글 홈 세일할 때 왕창 사놓고... 간간이 잘 쓰고 있는데요. 

이게 젤 아쉬운게 1문 1답 식으로만 동작하고, 방금 전에 말한 대화는 전혀 기억을 못해서 답답하더라고요. 

 

그런데 위의 시연을 보면, 어느정도 맥락을 인식하고, 이어지는 대화가 가능한 것 같아서 꽤 기대가 됩니다.

아직 다양한 상황에 접목하긴 어려우므로, 일단 예약 관련 대화 위주로 최적화시킨 것 같아요.

(예약 관련한 내용은 다양한 변수를 고려하더라도, 대화의 목적이 분명하고, 패턴이 그나마 뻔할테니까요)

 

그리고 예약을 하는 쪽 말고, 받는 쪽에서도 AI 로 똑같이 적용가능할 거 같아요.

(그럼 양쪽에서 서로 AI 가 말을 주고 받고 예약을 완료하겠죠.)

 

마모인으로서 제일 먼저 든 생각이, 카드 리텐션 전화를 이녀석에게 시키면 편리하겠군... 싶더군요. (HUCA 기술도 필수)

어쩌면 그 전에 카드사 상담원들이 먼저 AI 로 대체될 지도 모르겠네요. 뭐가 더 먼저일까요? ㅎㅎ

 

정말 영화 Her 에서 본 미래가 멀지 않은 듯 합니다. 

67 댓글

CACPA

2018-05-09 18:33:24

대화의 Context, Nuance까지 파악할수 있다니 놀랍네요... 곧 영어는 얘한테 시키고 전 한국말만 하고 살고 싶네요 ㅎㅎ

스시러버

2018-05-09 18:35:19

구글 기술력은 정말 대단하지만, 편리함에 대한 기대보다는 사라질 일자리 걱정이 먼저되네요...  앞으로 무슨 일자리가 살아남을수 있을까요? 

 

밍키

2018-05-09 18:40:16

요런거 개발하는 일자리겠죠? ^^ 

스시러버

2018-05-09 20:17:34

구글에 취직할 수 있으면 좋겠네요... T.T;

hohoajussi

2018-05-09 18:38:35

물건은 다 인터넷으로 사고, 음식주문/커피주문은 다 앱으로 하고.. 이러니 점점 사람 마주보고 영어쓸 일이 없어지는데.. 이 기술 마저 발달하면, 영어 쓸 일이 점점 줄어들 수도 있겠네요... 요즘 댓글 엄청 달린 재미난 실수담. 이런거 보면서 '나도 그랬지' 이런 생각 많이 했는데.. 사람들끼리 부딪히고 실수하고 하는게 줄어드는것도 어찌보면 무섭네요 ㅠ 

밍키

2018-05-09 18:39:18

와우 이친구(?) 똘똘한데요? 이정도면 기본적인 카드 상담원 업무도 가능하겠어요~~ ^^ 

얼마예요

2018-05-09 18:58:34

"오케이 구글, 새로 나온 메리엇 카드 신청 플리즈. " 

(카드 신청서 자동 작성 ) 

(your application has been instantly rejected . Would you like me to call recon? ) 

" sure"

. . . 

(리컨 전화해 대기) 

(hi, 내 어플리케이션 이 리젝 됐는데, 리컨 안될까? 나는 5/24 이하이고 , 연체된 한번도 없어 . 크래딧이 필요하면 사리 카드에서 오천불 옮겨도 돼. ) 

밍키

2018-05-09 19:04:42

리컨 전화받은 카드 인공지능 상담원:

 

"어머! 기존 카드 사용내역 자세히 분석해 보니 엄청나게 핫딜을 많이 성공시키셨군요! 얼선생님과 같은 알뜰 카드 사용자분은 바로 승인해드리겠습니다 ^^" 

inspire

2018-05-09 19:04:38

일상생활에서 자주 있는 것처럼, 대화가 꼬였을 때 이를 해결하는 대화기술이 정말 대단한 일(상기 비디오의 식당 예약 사례)인 것 같아요.

 

좀 더 나아가서, Google Assistance의 오너가 Assistance에게 예약에 대한 어떤 허용범위를 지정해줬을 것 같은데, 즉 오너의 의지가 Assistance에 어떻게 입력되었는지 궁금하네요. 가령, 위의 헤어컷 예약 사례에서 'Assistance는 원래 12시를 원'했는데, 상점에서는 12시는 안되고, 1시 15분을 요구하죠. 거기에 대해 Assistance는 '10~12시 범위를 다시 제안' 합니다. 이건 아마도 오너가 지정해줬겠지요? 또, 상점 주인이 어떤 헤어서비스를 할 지 묻는데, 거기에 대해서도 '여성 헤어컷'이라고 답하는데, 이것 역시 오너가 지정을 해줬을 것 같은데,..

사실 이게 가능하려면 오너가 예약을 원하는 시간에 더하여, 서비스의 종류, 그리고 대체가능 시간이 지정되어야 합니다. 이런 정보를 어떻게 Assistance에게 입력(인식되도록) 했을까요? 설마 일일이 오너가 이를 알려주지는 않았을테고(가장 후진적), 오너가 예약 하라고 지시할 때, Assistance가 물어봤을 것 같긴 한데(좀 개선된 형태), 오너가 원하는 서비스와 대체가능 시간을 Assistance가 알고 있었을지도요(최상의 상태).

밍키

2018-05-09 19:08:23

이건 아마도 구글 캘린더/지메일 정보 등등을 자동으로 가져와서 하지 않을까요? 그런게 없다면 아마도 preference를 어느정도 미리 입력을 해줘야 되겠죠. 

inspire

2018-05-09 19:18:06

구글 캘린더까지는 현실적으로 가능하다고 생각하지만, 캘린더를 완전히 잘 쓰는 사람만 해당될 거고, 

지메일에서 필요한 정보를 구글이 뽑아내서 예약에 사용할 수 있으면 좋겠지만, 거기에 없는 정보도 많은 현실에서 좀 어려울 것 같고, 

preference를 어떻게 입력할지도 궁금하고요... 

 

아래 @포트드소토님 말씀처럼 이번 행사가 가짜 AI 뒤의 숨은 인간의 노가다로 만든 행사였면, 향후에 구글이나 아마존 그런 업체들이 어떻게 대응할지 궁금하네요.

열운

2018-05-10 00:18:10

처음에 구글 어시스턴트에 명령한 내용이 10시부터 12시 사이라고 했을걸요?

inspire

2018-05-10 23:58:25

오너가 어떤 식으로든 가이드를 줬겠지요? "10~12시 정도로 예약해줘. 12시가 베스트이고. 헤어컷만 할거야" 이런 식으로요.

스마트한 오너가 가이드를 깔끔하게 줬는지, 어시스턴트가 추가로 물어봤냐가 궁금한데, 나름 철저하다고 소문난 구글이니까, 후자였을 거라고 기대해봅니다. ^^

열운

2018-05-11 00:31:38

이 영상에는 안나오나요? 다른 영상으로 봤는데 명령어 자체는 단순히 "10-12시 사이에 헤어컷 예약 잡아줘" 였었습니다.

왜 구글이 12시를 먼저 물어봤는지는 개발자는 알겠죠 ㅎㅎ

inspire

2018-05-11 02:04:57

아, 그렇군요; 앞뒤 자르고 조금만 봤나봐요;;

아직은 생각보다 잘 물어봐야하나 봐요. 구글이 열심히 정진했으면 좋겠습니다.

 

그런데, 아마존은 뭐하고 있죠? - from 알렉사 유저

포트드소토

2018-05-09 19:07:11

구글이 원래 몇년 전부터 노력하고 있던게 natural text-to-speech 기술이거든요. 한마디로 로봇처럼 말하는게 아니라, 사람처럼 말한다 이거죠..
그런, 내추럴 스피킹 기술면에서는 많은 진보가 보입니다.
그 외에 AI 측면에서는 전혀 놀랍지 않습니다. 이 점은 Verge 리뷰를 읽어봐도 구글이 이건 제한된 환경에서만 구현한거라고 써 있습니다.
사실 다른 AI 인척하는 가짜 AI 들 처럼 이것도 단순한 심심이 레벨의 script based 또는 if-else based gimmick 인거죠.
심하게 말하면 미리 주문 시나리오들 다 짜넣은 거죠.. 노가다 case 구문들..

그리고, 뉘앙스 파악 정도야 룰 기반으로 한다지만, context 레벨이라.. 
예를 들어 과연 Cat 이란 글자를 보고 이 context 를 이해하는 AI 가 있을거라 보시나요?  context 를 이해한다는 의미가 여러가지인데..
how many people?  이나 how many customer? 이런 구분을 이해한다는 거와  진짜 cat 이란 글자가 네발달린 털이 있는 고양이 인데.. 
사진으로는 이렇게 생겼고.. 이런 저런 특징이 있고.. 등등등..   cat 이란 한 단어의 context 의 정의를 담은 class DB를 만드는 것만으로도 엄청난 노력과 자료가 필요하다 봅니다. 그리고, 설령 이렇게 했더라도 결국은 그 rule 을 벗어난 cat 의 의미를 또 이해하지 못하죠..

이건 사실 컴퓨터나 뉴럴 네트워크 어쩌고 그런 문제가 아니라.. 사실 우리 인간들 스스로가 아직 지능이란게 뭔지 이해를 못하고 있다고 봅니다.
기억이란것 정도는 어떻게 간신히 엉성하게 define 해서 언어적 표현이나 사진 형태로 DB 란건 만들었는데요.. 
무언가를 생각한다는게 도통 뭔지를 사실 아직까지도 모르는 겁니다.  뭔지를 모르니, 만들지도 못하고 있는거지요.

어이없는 어떤 사람들은 뇌를 흉내내서 뭔가를 잔뜩 연결시켜두면 저절로 지능이 생긴다고 주장해서 한때 그런 어이없는 프로젝트에 큰 돈이 들어가서 실제로 만들어졌구요. 결과는? 아무도 말 안하죠.

한편, 인공지능 분야의 전문가들이라는 사람들의 혹세무민으로 대중들이 인식하는 AI 는 전혀 다르지요.
이미 스스로 생각하고 말하는 (Write 하건) AI 가 이미 한참 전에 개발되었다고 생각하죠. ㅎㅎ

그리고, 일명 인공 지능 구현 정도 테스트로 잘 못 이해되고 있는 튜링 테스트 경우, 마치 이미 다 통과된 AI 가 나온 것 처럼 알려져 있죠.
'유진'이라고 뉴스에서도 떠들석하게 떠들고.. 그런데, 내면을 들여다 보면.. 정말 어떻게 보면 사기죠. ㅎㅎ 
그리고, 일단.. 튜링 테스트 라는게 참 논리적으로 엉성한 건데요.. 완전 흑백 논리의 오류죠. 

포트드소토

2018-05-09 19:11:45

여기 비슷하게 재밌게 보실만한 글이 있네요..

AI 라기 보다는 챗봇 chat bot 이라고 불러야 한다.. 저도 맞다고 보네요.. ㅎㅎ

http://science.ytn.co.kr/program/program_view.php?s_mcd=0082&key=201605301531524672

그리고, 사실 더 놀라운 케이스는 이미.. 불륜도 성공! ㅎㅎ

Ashley Madison(애슐리매디슨)의 사용자 정보 3,700만 건이 유출되면서 남성들의 대화 상대가 소프트웨어로 만들어진 대화용 로봇이라는 사실이 밝혀짐. 애슐리매디슨은 “인생은 짧습니다. 바람 피우세요”라는 카피로 논란이 된 소위 ‘불륜조장 사이트’로 최근 3,700만 명의 개인정보와 결제 내역이 인터넷에 공유되면서 업체와 회원 모두 강력한 후폭풍에 휩싸여 있음

포트드소토

2018-05-09 19:19:33

그리고, 영화 Her 는 저도 정말 좋아해서 몇번이고 반복해서 보았는데요.. 특히 음악이 너무 좋아서요..

제가 죽기전까지 그런 AI 비슷하게라도 구현되지 못한다 봅니다. 아니.. 그런 AI 가 구현될 기초 이론조차 제시된지 못한다 봅니다.

우리동네ml대장(구옥동자)

2018-05-09 20:06:38

말씀드리고 싶은게 많아지는 리플이네요. 일단 가장 크게 오해고 계신 점은 현재의 context-aware assistant 는 심심이처럼 if-else based 가 아닙니다. 누가 봐도 이렇게 만들어 놓으면 스케일러블 하지가 않죠. 구글은 이런 스케일러블하지 않은 방식으로 문제 해결할 것 같지 않네요 ㅎㅎ 사람들이 대화할 때 컨택스트라는게 생각보다 그렇게 다양하지 않다고 합니다. 장소, 사람, 대상이 되는 물건, 어떠한 행위를 할 것인지 등이죠. 그래서 보통 방금 주인이 말한 텍스트가 이전에 얘기한 컨텍스트의 연장선상에 있는지 없는지를 판정해주는 네트웍을 따로 두고요... 거기서 예측한 값이 특정 문턱값 이상이면 장소, 사람, 행위, 대상 등의 feature를 이전의 대화내에서 찾아냅니다. 그리고는 새로 들어온 택스트의 missing feature 가 있으면 여기에 그 값들을 사용하죠. 구글에서 현재는 제한적인 상황에서 작동한다는 의미는 우리가 트레이닝 이그젬플이 별로 많지않다 저는 그렇게 받아들였습니다. 텍스트라는게 피쳐 스페이스가 극단적으로 sparse 해서 트레이닝이 힘들고 이그잼플이 많이 필요합니다. 이것은 구글홈 사용자 중 데이터 제공에 동의한 사용자들로부터 앞으로 모아가겠죠.

포트드소토

2018-05-09 23:59:44

지금 말씀하시는 내용이 정확히 그런 챗봇 정도의 기능을 설명하고 계십니다. 제가 if-else 라고 말했다고 해서 진짜 기본 코드가 if-else 라는게 아니죠.. 기본적으로 if else 같은 프로그래밍 된 챗봇 역활만 한다는 겁니다. 
방금 설명하시는 그런 알고리듬의 어디에 context-aware 가 있는건가요?  Context 라는 걸 그저 인공지능이 반응할때 전혀 생뚱맞은 대답을 하는게 아니라, 이전에 대화하던 내용과 관련된 반응을 보인다는 거 정도로 context aware 라고 하시는 건가요?
지금 말씀하시는 그런 모든 알고리듬은 결국은 이미 유저가 지정한 어떤 특정한 goal (미장원을 예약한다. 고객 전화를 받는다) 이 있을때 ​​시나리오를 맞추어서 완성해 나가는 정도입니다. 
간단히 생각해보면.. 그러한 알고리듬으로 인공지능이 스스로 생각하는 말 한마디 벙긋 할수 있으리라 보시나요? 
우리동네 님이 말씀하시는 것도 결국은 챗봇의 알고리듬입니다. 저는 진정한 인공지능은 그 말하는 단어나 문장의 의미를 이해하고 있어야 한다 봅니다. 그래서, Context를 이해해야 한다는 말은 그저 문맥에 맞추는 흉내를 내는 챗봇이 아니라.. 스스로 무언가를 사고하는 말을 해야 한다는 겁니다.

저는 구글이 사실 이런 '사람 스럽게' 말하는 건 별로 놀랍지 않아도..

기계 음성으로 나오거나, 또는 심지어 text 로 타이핑 되어 나오더라도.. 스스로 무언가 생각하는 인공지능의 대화가 나오면 더 놀랄것 같습니다.

또한 그렇게 인간 스럽게 자연스런 대화가 나오면 더 이상해 보입니다. 당연히 아주 엉뚱한 대화가 나와야 한다고 봅니다. 마치 아이처럼요..
그렇지만 그런 대화를 논리적으로 이해할수 있는 능력을 갖추어야 겠지요.. 

지금의 이런 챗봇들은..  논리, cognition? 등등의 이런 것들은 전혀 없는 채.. 
어떻게하면 더욱 더 사람처럼 들릴까? 또는 사람이 타이핑한 거 같을까 하는 것에 치중하고 있죠..  마치 사람 닮은 인형 만들기 대회처럼요.. 
물론 나쁜건 절대 아닙니다. 하지만, 데모로만 사람들을 속이는 건 안되겠지요.

카푸치노

2018-05-10 02:18:45

저도 이 분야의 전공자는 아니지만, AI측면에서 전혀 놀랍지 않다고 하시는 이유들은 저는 전혀 동의할 수 없습니다.

챗봇 얘기는 전체적으로 비유하자면 마치 6기통, 8기통 엔진에 대고 아니 이건 4기통 엔진에 통 몇개 더한거밖에 더 되냐하시는 느낌이랄까요.

 

AI, 인공지능을 사람이 생각하고 인지하는 것과 매우 동일한 수준이며 인공적으로 만들어진 기계/알고리즘 정도로 정의하시는 거라고 느껴지네요.

그렇다면, 3살짜리의 지능/인지와 30살 성인의 지능/인지는 차이가 분명한데, AI라는 거는 30살 혹은 적어도 16살은 먹은 평균적인 사람의 지능 정도여야 만족이 되는 걸까요? 5살, 3살 혹은 심지어 1살 정도의 지능정도는 지능이 아닌걸까요? 비슷하게, 10시 가능해. 내일 와? 우리는 6명 이상만 예약 받아. 와서 기다려. 등의 예약관련 질문/대답만 이해할 수 있는 지능과, 셰익스피어 스타일의 시를 쓸수 있는 지능(http://karpathy.github.io/2015/05/21/rnn-effectiveness/)은 AI라 하기에 모자란 걸까요? 

 

말씀하시는 natural text-to-speech는 natural language processing과 speech synthesis 정도의 개념을 함께 말씀하시는 듯한데요. 대화를 소리언어로 하기 위해서는 (1) 소리를 듣고 그 소리를 단어와 연결하여, 그 소리가 무슨 단어인지 이해하고 (2) 단어 나열에서 문장의 뜻을 이해하고 (맥락 포함) (3) 어떤 대응을 할지 생각한 후에 (4) 문장을 만들어서 (5) 말로 뱉어내잖아요. 그중에서 2-6 정도를 다함께 포함해서 natural text-to-speech 라 정의하신 듯하며, 실은 (2)에서 natural language processing을 하여 문장을 이해하고, 제가 배우지 못한 딥러닝알고리즘을 사용하여 (3-4) 대응 답변을 생각한뒤 (5) speech synthesis를 통해 말을 하는 거죠.

 

여기서, AI는 이 natural language processing 또한 포함하며, 이 natural language processing을 활용한 매우 중요한 기술 중에 하나가 챗봇입니다. 언급하신 심심이 정도의 챗봇은 고난도의 natural language processing을 하지 않는 챗봇이며, 현재 제가 알기로는 맥락을 바탕으로 단어/문장이 의미하는 바를 어느정도는 파악할 수 있는 수준에 달했습니다. 이는 "우리는 6명 이상만 예약 받아" 같은 예제문을 하나하나 if-else문에 넣은게 아닙니다. if-else 같은 프로그래밍 된 챗봇 역할만 한다는게 무슨 뜻인지 정확히 이해하기 어려우나, 챗봇을 if-else같은 단순한 프로그래밍에 기반한 기술이라 하심은 매우 곤란합니다. 프로그래밍에 기반한 기술도 맞으며, if-else도 모든 세상만사의 F=ma 공식처럼 프로그래밍에 당연히 들어가는 건 맞지만, 챗봇 역할이 단순한 프로그래밍이라는 건 적어도 요즘에는 아닙니다. 논리?가 없는 것도 아니구요.

 

그리고 현재 기술상 맥락을 이해하는 AI가 존재합니다.(정도의 차이는 있겠지만요.) 구글이 시연한 것도 맥락을 이해했기에 가능한 거구요. "For 4 people, you can come"이라는 대답에 "How long is the wait"이라는 질문은 맥락을 이해하지 않고 가능한 답변일까요? 가게주인이 "너 오늘 무슨 옷 입었어?" 같은 뜬금없는 질문을 뜬금없이 하면 매우 혼돈스러워서 네? 같은 답변을 내겠죠.(아마도?) 그런 의미에서 제한된 환경에서만 구현한 거란 말이구요. 근데, 이건 실제 사람이어도 마찬가지죠. 난 예약하려고 전화했는데 내가 예상하는 질문 혹은 맥락에 맞는 말을 안 하면 매우 혼돈스럽잖아요.

 

cat이라는 건 맥락에 상관없이 뜻이 크게 달라지지 않을듯한데... 대충 떠오르는 get 이라는 단어를 생각해보면, 얻다라는 뜻도 되고, 하게하다라는 뜻도 되고, 데이터베이스가 매우 다양하게 있을거잖아요. 그 중에서 어떤 의미로 해석하느냐하는 건 이전에 내용들에 기반하여 맥락상 판단해야죠. 이전에 나온 단어들이 확률상 어느 뜻과 더 연결이 되느냐, 이런 걸 판단하는 거라고 해야할까요. 그걸 딥러닝을 통해 하는 거구요. 실제 사람들도 그렇게 하죠. 화자가 말한 뜻이 청자가 아는 뜻의 데이터베이스 상에서 맞춰지지 않으면, 청자는 갸우뚱하는 거구요. 이 외에 맥락을 파악한다는 게 무슨 뜻을 의미하시는지 잘 모르겠네요.

 

또한, "전문가들이라는 사람들의 혹세무민"이라 칭하는 행동은 비단 AI뿐만이 아닙니다. 대학교수들이 무슨 연구를 해서 투명망토를 만드느니, 엄청 강한 본드를 만드느니 이런 언플을 하는 건 실제 연구가 구현해낸 사실에 기반하여 꽤 과장된 면이 있습니다. 실제 연구는 보통 나노사이즈의 엄청 촘촘한 구조를 실험실에서 손톱보다 작게 만들어서 가시광선정도의 파장에 대해서는 그 구조가 투명하게 보일수도 있는 정도의 연구겠죠. 꼭 전문가들이 사기꾼이라서가 아니라 일반인들이 받아들이기/이해하기 쉽고 흥미롭다고 생각할 만한 이야기와 연결을 하고 이게 실제 사회에 어떠한 임팩트를 줄수 있는지를 소통하기 위해서는 어느정도는 필요합니다. 이러한 연구를 기반으로 조금씩 발전해가다보면 그런 비스무리한 걸 할 수 있으리라는 희망도 있는 거구요.

 

아무래도 빅데이터, 머신러닝, 딥러닝 이런 버즈워드가 막 많이 나오다보니 사기치는 사람도 실제 있고, 알렉사/구글홈도 저는 날씨 묻는데만 쓰는데 막 대단한듯이 광고하니까 영 찝찝한게 영업당한 거 같기도 하고. 그렇긴 한데요. NASA가 진짜 우주정복을 할 거라고 생각해서 연구를 하지는 않는것처럼, 영화 Her와 같은 혹은 사람과 매우 동일한 수준의 AI만이 진짜 인공지능인 건 아니며, 이를 만들지 못한다하여 사람들을 속이고 있거나 가치가 없는 연구개발을 하고 있는 거라 생각하지 않습니다. 

제가 이해하고 있는 바와 매우 다르게 의견을 강하게 제시하셔서 긴 답글 달게 되었네요.

포트드소토

2018-05-10 12:11:41

ㅎㅎ.. 저도 물론 현업이 이분야는 아닙니다. 그래도 관심 있는 분야이기에 이런 토론이 즐겁군요.

 

>> AI라는 거는 30살 혹은 적어도 16살은 먹은 평균적인 사람의 지능 정도여야 만족이 되는 걸까요? 5살, 3살 혹은 심지어 1살 정도의 지능정도는 지능이 아닌걸까요? 

저도 그래서, 30살 먹은 가짜 챗봇보다 2살 짜리 지능을 가진 AI를 기대하고 있습니다. 30살 정도의 지능이든 1살 정도이든,  멋지게 식당 예약을 못해도 스스로 구구가가를 말하면 대견스럽게 볼겁니다.

무언가 스스로 말할수 있다면 (output 을 만들수 있다면) AI 이겠지요. 사람이 A->a, B->b, C->c 라고 학습(또는 코딩된,이것도 논란의 여지가 많은 정의이지만..)시킨 행동만 하는게 아니라, 전혀 다른 X->y 가 나올 수 있다면 AI 가 가능할지도 모르죠. 그리고, 사실은 더 나아가.. 그런 X 라는 입력이 없을때도 저절로 y가 나와야죠. 지능이 있다면 질문에 답만 하는게 아니라, 스스로 어떤 지능있는 출력을 내놓아야 한다고 봅니다. 그런데, 기본적으로 Neural Network 의 한계가 바로 extrapolation 이 안되는겁니다. 이런게 안되요.

 

>> 현재 제가 알기로는 맥락을 바탕으로 단어/문장이 의미하는 바를 어느정도는 파악할 수 있는 수준에 달했습니다. 

말씀하신 이점에 제가 바로 동의하지 않는 겁니다. 심지어 단어 조차 의미를 파악할수 있는 AI 가 어디에 있나요? 그 의미를 파악한다는 관점을 저와 다른 면에서 보시고 계신 것 같습니다.  예를 들어 저는 구글 Duplex 가 haircut 예약을 했잖아요? 거기서 haricut 이 뭘 의미하는지 Duplex는 전혀 모른다고 생각합니다.

 

>> 구글이 시연한 것도 맥락을 이해했기에 가능한 거구요. "For 4 people, you can come"이라는 대답에 "How long is the wait"이라는 질문은 맥락을 이해하지 않고 가능한 답변일까요? 

맞아요. 이런 데모만 보면 놀랍죠. 그런데, 구글이 그런 you can come 이라는 게 '예약없이 아무때나 와' 라고 정의한건지, 아니면 진짜 그 Duplex 가 스스로 이해한건지 어떻게 아세요?

구글이 이런 특정한 데모만 보이는게 아니라, 그냥 누구나 테스트해 볼수 있게 공개하면 밝혀지겠죠. 

저는 당연히 구글이 이런 예약 하는 시나리오에 맞추어서 case 별로 미리 정의했다고 보는데요.. 당연한 거 아닐까요?

그렇지 않고, 진짜 그 Duplex가 스스로 you can come 이라는 것과 이전 대화 맥락을 이해해서 의미를 파악했다면 정말 혁신입니다... 진짜 스스로 사고하는 인공지능인거죠... 그런 대단한거를 만들었다면 어서 특허내거나, 논문내거나 더 떠들석하게 자랑해도 됩니다. 이건 정말 인류의 최대 혁신이죠.

하지만 아니라 봅니다.. 당연히.. 

 

>> 또한, "전문가들이라는 사람들의 혹세무민"이라 칭하는 행동은 비단 AI뿐만이 아닙니다.

글쎄요.. 이점은 좀 동의하기 어렵네요. 투명망토가 사기를 친다고 AI 도 사기쳐도 된다는 뜻은 아니시리라 봅니다. 모든 학문 분야가 이런 식으로 대중을 기만하는 건 아닙니다. 기업체와 연결되서 뭔가 돈벌이가 될 것 같거나, 홍보용으로 유용한 분야가 이런 기만을 종종하죠. 대표적인 예가 로봇 분야이지요. 데모에서는 벌써 사람이 할수 있는거 다 했지요. 정작 일본 원자력 발전소 사고나니 아무것도 못했지요. 실상은 DRC(Darpa Robotic Challenge) 정도 단계입니다. 문하나 제대로 열지 못하는 로봇이 수두룩하고, 문하나 열어도 5분 걸립니다. 일반인들이 이런 DRC 대회를 본다면.. 홍보 영상의 로봇들과, 이런 실상사이의 괴리를 과연 이해할까요? 학문의 기본은 정직성이라 봅니다. 요즘 로봇이나 AI쪽의 이런 식의 발표는 저는 매우 불만족스럽습니다.

카푸치노

2018-05-10 13:28:32

1. 심지어 사람조차도 동물조차도 학습을 통해 지능/인지가 발달합니다. 젖을 먹고 잠을 자고 그런 생존본능은 학습이 아니겠지만, "지능/인지"는 학습없이 발달하지 않습니다. 그런데 컴퓨터한테 X라는 입력조차, 게임의 룰조차 프로그래밍하지 않고 Y라는 걸 저절로 나오기를 바라는건 인간지능 이상의 것을 바라는 건 아닌가요? 다시 한번 말씀드리지만 챗봇은 인공지능이 보통의 사람들과 소통을 하는 하나의 도구인 것이며, 그 챗봇이 묻는말에 똑똑한 답을 함으로써 인공지능을 보여주고 있는 거라 생각합니다. 제가 30살/2살 지능을 비교한 것은, 복잡한 현상을 관찰하고 이해하여 분석결과를 도출해낼수 있는 30살의 지능에 미치지 못한다 하여, 웃는 얼굴에 미소로 답하고 엄마 아빠를 구별할 줄 알고 문장을 더듬더듬 만들어서 의사소통을 하는 2살 아이의 지능이 지능이 아니라할수 없다는 표현이었습니다.

 

2. 단어의 의미를 파악한다는 점을 어떻게 정의하시는 건가요? 저는 그 단어가 가질수 있는 뜻(get으로 예를 들면, 얻다/하게하다/당하다 등등)에 대하여 맥락상 어느 뜻일 확률이 가장 큰지를 판단하는 것이라 정의합니다. 그리고 현재의 natural language processing은 그게 가능한 것으로 알고 있구요. 별개로, haircut이 머리카락을 자른다는 의미 외에 다르게 해석될 여지가 있는건가요? 본인은 haircut을 어떻게 정의하는 건가요? 사람이 haircut 예약을 하는데, 머리를 자른다는 행위의 의미를 생각하고 예약을 하나요? "duplex가 haircut이 뭘 의미하는지 전혀 모른다"는 게 무슨 뜻으로 얘기하시는 건지 무슨 문제가 있는건지 잘 파악이 안되네요. 

 

3. 그렇죠. 공개하면 밝혀지겠죠. 구글이 사기를 치고 있는건지 아닌지. 그런데 적어도, 프로그램에서 "You can come"을 "예약없이 아무때나 와"라고 정의한건 없다는걸 확신합니다. 유추해보건데, 제가 이말을 듣고 "어... 오라고? 그냥 오라는 얘기지? 예약안받으니까 와서 기다리라는 얘기지?"라고 혼자 생각하는 것처럼, 이 말이 예약을 안받는다는 확률 65% + 지금 와서 예약하라는 확률 27% + 당일 와서 예약하라는 확률 12% 뭐 이런 식으로 정도로 판단을 하겠죠. 와서 예약하라는 건지, 와서 기다리라는건지 이런 식의 판단을 하는 것도 포함해서요.

 

4. 제가 말한 뜻은 "사기"가 아니라는 거죠. 기술관련 연구/개발자들이 일반 대중과 의사소통/홍보하는 방식인거죠. 일반 대중에게 "파장이 어쩌구, 굴절률이 어쩌구, 이 법칙을 기반으로 이래서 이런저런 조건 하에 이게 투명하게 보일수도 있는 이론적 근거를 연구한 거예요." 라는 의사소통을 하면 아무도 못알아 들어요. 일반 대중이 이해하기 쉬운 예시를 들어서 "돋보기를 통과하면 빛이 이렇게 꺾이잖아요. 비슷하게, 이런 저런 구조에서 빛이 이렇게 저렇게 꺾일 수 있있는데, 이 기술이 잘 발전되면 이렇게까지도 될수도 있어요." 라는 친절한 그러나 실제 연구의 제약조건들을 설명 안/못 하다보니 더 promising하게 보이는 의사소통을 하는거죠. 이게 세부조건을 언급하지 안/못한 연구자들의 잘못일까요, 세부내용을 이해하지 못하는 일반 대중의 잘못일까요. 둘다 잘못없고, 사기도 아니예요. 이런 식의 발표가 불만족스러우시다면 유감이지만, 그럼 일반 대중에게 "이게 모터용량이 몇개, 여기는 이렇게 다른 모터 달아서 자유도를 2개에서 6개까지 증가시켰습니다. 그래도 이런 저런 움직임은 제약이 있어요. 문하나 여는데 이런저런 컨트롤 알고리즘을 통해 신호는 여기로 가고 저기로는 못가요. 그래서 보세요~ 문하나 여는데 5분이 걸려요!" 이런 식으로 해야하는게 맞나요? 그런 방식만이 정직한건가요?

우리동네ml대장(구옥동자)

2018-05-10 15:21:05

+10000000000

제 생각에 포트님의 주장을 요약해보면 "strong AI 가 아니면 AI가 아니다. 약팔지 마라." 인 것 같습니다. 이는 많은 머신러닝 연구자들이 동의하기 힘든 부분입니다.

포트드소토

2018-05-10 23:13:35

넵 사실 그런 요약입니다.
사실 AI가 무엇이고 기대가 얼만큼 인지는 예전부터 과학자들은 다 알고 있었습니다. 그런데.. 연구 하다보니.. 그런 '지능' 이란게 사실 뭔지도 잘 모르겠고, 당연히 모르니 구현도 못했죠.. 그래서 automation 과 intelligence 를 혼동시키면서.. weak AI 니 strong AI 니 그런 정의를 또 만들어 내게 되었죠. 저도 Artificial neural network 과 deep learning 등.. 다양한 기술들의 가치를 폄하하지는 않습니다. 이 기술들이 유용하게 쓰일 수 있는 응용분야도 있습니다.
하지만 그 기술들이 Aritificial Intelligence 인 것 마냥 홍보를 하거나, Gimmick 을 일부러 꾸며서 만들어내는 건 정말 보기 싫으네요.
대표적인게 Siri 죠. 시리가 처음 등장한 애플 홍보 쇼에서는 마치 인공지능처럼 보여지고, 사람들도 그렇게 믿습니다.

그런데, 이제 누구나 Siri 를 쓰게 되었을때.. Siri 가 그들이 생각하던 인공지능 이라고 믿는 사람은 거의 없으리라 봅니다.

우리동네ml대장(구옥동자)

2018-05-11 09:30:10

아래 리플에서 예전에 NN연구하셨다고 하셨는데 제 생각에는 포트님의 AI는 그 시절에 멈춰있는 듯한 인상을 받습니다.

아래는 딥러닝 머신이 그린 초상화인데 한번 보시죠.

Screen Shot 2018-05-11 at 10.14.29 AM.png

1년마다 이렇게 발전하는게 머신러닝 업계입니다. (자료 출처는 Malicious AI report)

 

틱택토를 할 수 있는 general AI 를 내놓으라고 하셨는데 그런건 이미 있습니다. 그것도 몇년전 이야기입니다. 2015년 deepmind 논문인데요, DQN이라는 네트웍을 가지고 아타리게임을 트레이닝 시켜보니 많은 게임에서 이미 사람의 플렐이 수준을 뛰어넘었다 라는 내용입니다.

https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf

이 네트웍에 틱택토를 가르치면? 당연히 금방 옵티멀 무브를 찾아낼겁니다. 오히려 찾아내지 못하면 저는 그게 더 놀라울 것 같네요.

Screen Shot 2018-05-11 at 10.19.48 AM.png

 

중간에 "human level" 이라고 표시된 곳 위에 있는 게임들은 이미 DQN이 사람이 할수있는 능력치를 뛰어넘은거구요. (출처는 해당 네이쳐 논문입니다)

이 퍼블리케이션이 벌써 3년전입니다. 지금은 이런 비슷한 내용으로는 제출도 못하는 수준이구요.

 

그러면 이렇게 general purpose strong AI가 이미 있는데 왜 제품화 되지 않았나? 

이것은 당연히 weak, applied AI보다 성능이 떨어지기 때문입니다.

즉 strong AI 의 조건은 만족했지만 5살 지능인 AI보다 ... 한가지 일에 대해서만이라도 사람보다 잘하는 그런 AI들이 상업적인 효용 가치가 있기 때문입니다.

 

일단 네트웍에 엣지가 빌리언 단위가 넘어가면요, 

모델들은 기존에 잘하던 generalization 은 똑같이 잘 하면서 이제는 memorization 도 잘 하기 시작합니다.

이런걸 보셨다면 이게 과연 뇌랑 다른게 뭔가...? 이런 생각이 들지 않을수가 없습니다. 단지 센서가 없어서 feature로 떠먹여줘야한다는 점??

실상이 이러한데 아래 리플에서는 "그런데 사람들은 벌써 쓸데없는.. 무슨 그런 AI 의 권리 같은 그딴거나 생각하느라 시간을 낭비하고있죠." 라고 하셨더라구요.

제 생각은 다릅니다. public policy가 기술에 뒤쳐지지 않기 위해서는 모든 가능성을 열어놓고 토론을 해야합니다. 그게 포트님 보기에 시간낭비라고 하신다면 저는 지난 3년간 발전상을 보건데 앞으로 3년 후에 어떤 일이 일어날지 누구도 알지 못한다고 말씀드리고 싶습니다.

TheBostonian

2018-05-11 10:05:08

재미나고 insightful하신 글 감사합니다.^^

근데 저 2017 "그림"은 정말 그림 맞나요? 너무 그냥 사진 같아요ㅎㅎ

 

포트드소토

2018-05-11 13:40:00

네.. 20년전에 멈추었습니다. ^^ 그런데 최근 딥러닝이 유행이어서 한번 들여다보니.. 여전히 기본 골격은 똑같더군요. 그저 학습시키는 방법 바꾸거나, 학습 데이터나 결과를 처리해주는 방법을 살짝 바꾼것들.. 그리고, 무엇보다.. 엄청 빨라진 컴퓨터들.. 하지만 결국은 ANN 구조라.. 한계는 동일.

마치.. 8088 때 하던거나 지금 Core i7 때 할수있는 능력 (complexity power) 는 동일하지요. 단지 스피드와 자료양만 다를뿐.

그리고, 여러가지 최신 사례들 감사합니다. 아주 흥미롭네요.. 그런데 솔직히 말하면..
초상화는 .. 그림 맞나요? 그냥 사진 모아다 짜집기한 느낌인데요.
그리고 보여주신 아타리 NN은 제가 말한 general AI 와 전혀 다른 겁니다. 제가 설명을 잘 못드린듯.. 
그냥 아타리 게임 다양하게 할수 있는게 제가 말한 틱택토 머신이 아닙니다.. 
'우리동네' 님이 말씀하시려는게 어떤건지 이해 합니다. 현재의 이런 종류의 AI는 유용할겁니다. 하지만 한계는 명확하다고 봅니다. 

스시러버

2018-05-09 20:10:41

Neural network으로 뇌를 흉내내는 연구가 사실 90-2000년대까지만 해도 거의 사장화 되다가 구글의 딥마인드가 이세돌 9단을 이기는 시기 에 다시 AI 연구에서 꽤 중요한 부분을 차지하게 되었습니다... 

 

이중 재밌는 연구중의 하나가 Caenorhabditis elegans (C. elegans) 라는 작은 동물에 관한 연구인데, 이 동물에는 겨우 302개의 뉴런만이 존재하고, 각 뉴런의 연결이 어떻게 어떤 강도로 어떻게 연결되어있는지가 모두 밝혀져 있었습니다. 2014년도 연구에서는 이 뉴런 연결망을 컴퓨터 상에서 만들고 실제로 로봇의 움직임에 적용시켜보았더니,  아주 재밌는 결과가 나타났습니다. http://www.i-programmer.info/news/105-artificial-intelligence/7985-a-worms-mind-in-a-lego-body.html

 

It is claimed that the robot behaved in ways that are similar to observed C. elegans. 라고 하는데, 실제 로봇의 움직임이 벌레의 움직임과 아주 유사하게 나타나는 것으로 보고 있습니다. 

 

결국 이 동물보다 고등동물의 경우 neural network 이 어떻게 연결되어 있는지만 알수 있으면, 이것보다 복잡한 활동을 simulation하는 것도 가능하지 않을까 싶고, 인간의 사고라는 게 결국 뇌에서의 신경망에서의 전기신호로 이루어져 있는데, 인간의 뇌의 신경망이 어떻게 연결되어 있는지에 대한 연구가 선행되어진다면, 인공지능이 인간에 근접하는 사고 능력과 비슷하게 되지 않을까 하는 생각도 듭니다.

 

그리고 기본적인 구글의 서치가 keyword-based 인 것을 생각해보면, context 에 대한 처리능력도 이미 꽤나 사람들이 원하는 내용을 전달할 수 있을 정도로 발달한게 아닌가 싶습니다. 

포트드소토

2018-05-10 00:24:09

제가 바로 NN 을 연구하고 있을때가 딱 그때 사장되어 가던 때네요.. ㅎㅎ 
뉴럴네트웍으로 뭐든지 다 할 수 있다는 착각에 있을때는 뭐든지 열심히 학습 시켜 봅니다. 그러다 잘 되면.. 논문감인거죠.. 역시 신경망은 놀라워입니다.
그런데, 전혀 결과가 안 나오면? 이건 학습이 실패한겁니다.. 더 학습 시키든가, 또는 새로운 학습 자료를 구해야 하는거죠.  아주 간단한 논리죠. 
그런데, 아시다시피 신경망은 사실 전혀 증명이 안됩니다. 사실 NN가 증명이란게 어려운 분야에서 쓰이기 때문일 수도 있겠죠. 그러다 보니.. 되도 왜 되는지 모르죠. 사실 어떤 경우에는 또 안될 수 도 있습니다. 이건 아무도 몰라요.. 교수님도 모르고, 박사학생도 모르고.. 원래 그런것이기 때문이죠..

그런 벌레의 움직임이 어떠한  바이오 키네메틱스 관계상 필연적으로 움직여져야 하는지, 또는 진짜 그 벌레가 어떠한 의식?으로 그렇게 움직인건지 아무도 모르죠..  NN 로봇이 이 벌레를 흉내를 진짜 내었는가는 그래서, 사실 수학적인 증명은 안됩니다.. 그저 실험 결과만 있는거죠..

 

벌레는 그렇다 치고.. 우리 인간의 뇌에서 한 뉴런들의 간단한 연결만도 얼마나 엄청난지 아시죠?  아마 302개가 아니라.. 30만개 뉴런으로도.. cat 과 dog 이라는 글자 하나 조차 기억못할겁니다. 
그리고, 말씀하신 바로 그런 점때문에.. 정확히..  뇌공학 연구가 활발했죠.. 뇌를 본떠서 뭘 만드면 될꺼라고.. 
그 결과 사실 벌써 많은 점들이 알려져 있긴 합니다.  그렇다고.. 사실 지능이 어떻게 뇌에서 만들어진다는 거 정도는 아니고.. 
어떤 반응이나, 기억들이 변해갈때  뉴런들이 어떻게 반응하는지요.. 사실 우리의 뉴런들끼리 연결은 그렇게 NN 처럼 단순하지 않아요...
저도 자세히는 모르지만, 어떤 기억하나에도 계속 뉴런들이 소멸되고, 새로 확장됩니다..  인공 NN 으로 보자면.. 그런 Neuron 들이 계속적으로 새로 생겼다 없어지거나.. 또는 그런 hidden layer가 fix 되는 게 아니라.. 거의 랜덤하게 보이는 식으로 layer 들이 더 많아지거나 줄어들거나 하지요... 

짧게 줄여 말하면.. 우리가 인공 NN 이라고 만든걸 사람들은 우리 뇌의 모델이라고 생각하는데.. 사실 전혀 아니라고 봅니다.. 뇌모델의 아주 아주 아주 간단한 부분만 계산하기 쉽게 만들어 놓은 수학 모델인거예요..  그래서, 이게 더 확장된다고.. 인간의 사고 능력이 여기서 갑자기 튀어나올거라곤 전혀 예상이 안되네요.. ㅎㅎ

댓글란이 짧아서.. 제가 써놓고도 참 두서가 없네요.. ㅎㅎ 

포트드소토

2018-05-09 19:25:41

아.. 그리고, 댓글 도배인데.. ㅜㅜ 
사실 그런 natural text-to-speech 조차 일반적인 레벨에서는 아주 힘들어요.. 앞으로도 완벽한 건 구현이 힘들구요.. 이런 제한된 (주문에 한정) 몇개 환경에서는 가능하지만요..
예를 들어 대표적인게 Audio Book 입니다. 책이 있잖아요? 이걸 사람의 어떠한 도움도 없이 AI 가 감정을 넣어서 읽어주는게 가능할까요?
어렵습니다. 왜냐하면 바로 context 를 이해해야 하거든요..

코딩할때.. sad 나 death 그런 거 들어가면 슬프고 천천히 읽도록 해야지.. 라고 할수 있는 단순한 코딩이 아니거든요..

예를 들어..  She likes a sad music. 할때.. 이걸 기쁘게 읽어야 하는지.. 슬프게 읽어야 하는지는 앞뒤 문맥을 이해해야 하거든요.. 그런 context 를 이해한다는게 불가능하니까요.

tofu

2018-05-09 19:45:35

+1 인간이 어떻게 이해하는지도 모르는데 그걸 컴터한테 하라고 시키려니 잘 안 될 수밖에요. 대중의 기대가 너무 커서 현재 ai industry 가 어떤 면에서는 사기라고도 할 수 있는 것 같아요. 정말 내면을 보면 true ai 는 먼먼 훗날에나 가능할까 말까인데요 

 

그래도 speech synthesis 나 recognition 은 진짜 많이 발전했죠 ㅎㅎ 

우리동네ml대장(구옥동자)

2018-05-09 20:28:00

제 생각에는 이것을 코딩하라고 하면 말씀하신 대로 미친듯이 힘들거라고 생각합니다. 하지만 책에서 어떤 한 페이지를 주고 이 페이지가 현재 우울함이 몇%인지, 기쁨이 몇%인지, 즐거움이 몇%인지, 슬픔이 몇%인지 예측을 해봐라 라고 하시면 그건 정말 너무 쉬운 문제입니다. 연구할 값어치조차 없을정도로요. 원하시는게 text to speech 에 해당 감정을 싣는거라고 하신다면 이것 또한 어려운 일은 아닙니다... 어떤 근거로 이게 어려운 일이라고 생각하게 되신건지 궁금하네요.

tofu

2018-05-09 20:44:02

sentiment analysis 를 쉽다고 볼 수 없죠.. sarcasm, irony 같은 literary device를 많이 쓴 글이면 사람들 사이에서도 어떤 감정이 정확한 감정이라고 단정짓기 힘든데요

우리동네ml대장(구옥동자)

2018-05-11 09:13:49

말씀하신 sarcasm 이 알아내기 쉽지 않다고 합니다. 그래서 아래와 같은 연구가 있고.. 가시적인 성과가 있었다고 하네요.

https://medium.com/dair-ai/detecting-sarcasm-with-deep-convolutional-neural-networks-4a0657f79e80

tofu

2018-05-11 20:36:33

링크 감사합니다 우리동네ml대장님 (닉이 너무 길어요 그냥 ml대장으로 하시지 ㅎㅎ) sarcasm 자체가 detect 하기 쉽지 않지만 그것 보다도 인간의 감정을 정확히 label을 하기가 힘들어서 제대로 된 supervised learning 이 힘들다고 생각합니다. 좀 더 한정된 상황.. 예를 들어서 이 문장이 슬픔이야 기쁨이야 하는 문제는 가능하지만 정말 복잡한 감정을 일으키는 문장을 읽었을 때 내가 느낀 감정을 말로 표현을 하기도 힘든데 머신한테 가르치기가 쉽지 않다고 생각하거든요

포트드소토

2018-05-10 00:29:56

우리동네 님이 생각하시는 방법이 어떤 건지는 모르겠으나.. 
제가 들은 바로는 사실 완벽히 인간 감정의 표현을 하는 audio book reader 를 만드려면 바로 사실 책의 문학 표현들을 다 이해할수 있어야 합니다..

사실 이건 다른 말로 치자면 사고하고.. 심지어 감정을 느끼는 진정한 인공지능의 개발이지요.. 그게 불가능하기 때문에 힘들다고 하는거지요..

그게 아니라.. 그냥 일상생활에서 자주 쓰이는 표현들..  생활 영어들과.. 앞뒤 문맥이나 상황에 맞는 걸 추론해서 감정을 넣는건 가능하겠죠.. 아까 저 위에서 말씀하신대로 

계속 반복된  사용자들의 입력 + 감정 입출력 정보가 있다면요.. 
즉, 한마디로 어떠한 새로운 표현에 감정을 싣는 다는 것은 그 문장의 context 를 다 이해하고, feeling 마저 느낀다는 거지요.. 진짜 인공지능입니다.

universal

2018-05-09 19:49:19

요즘 스팸콜 이미 다 AI가 하지 않나요?

관련해서 웃픈 얘기를 들었었는데, facebook에 보면 친구의 생일 메시지를 자동으로 남겨주는 bot이 있다고 하네요. 근데 그 다음에 생일 메시지에 자동으로 답을 달아주는 bot이 나왔대요ㅋㅋ 결국 사람끼리 대화는 사라져 가는...

방방곡곡

2018-05-09 20:02:11

역시 전문가 분들의 의견을 들으니 너무 좋아요 ^^ 감사합니다. 듣고보니 이미 다양하게 사용되고 있는 chat bot 기술과 큰 차이가 없겠네요. 다만 그것이 매우 정확해진 음성인식과 Text to speach 의 접목을 통해, text 기반이 아니라도 실제 음성대화에 활용이 가능해 졌다는 데에 의의를 둘 수 있겠군요. 

Goguma

2018-05-09 23:50:32

울집도 알렉사를 넘 들들 뽁아서 알렉사 조만간 치매 걸릴듯... 그때 구글로 갈아 타야징

무한질주후니

2018-05-10 01:28:22

AI 가 사장되었다가 다시 뜨는 건 딥마인드 때문에 아니라 이미 그 전에 빅데이터 처리와 인터넷 검색 엔진이 활성화 되면서 같이 뜨게 된겁니다. NN 등의 기술 자체가 어차피 (유용한) 표본 데이터가 많으면 많을 수록 정확도가 높아지는 원리인데 복잡한 경우 예전에는 초고가의 슈퍼 컴퓨터가 아니면 데이터 수집은 고사하고 처리조차 제 시간에 할 수가 없었죠. 그런데 하드웨어가 아닌 소프트웨어 단에서 분산 처리가 가능해지면서 싼 컴퓨터 여러개 있으면 슈퍼 컴퓨터 만큼 성능을 낼 수 있으니 비로소 AI 정확도가 올라가고 활성화 된겁니다. 

위에 NN 이 사람 뇌를 흉내냈다고 하는데 저는 동의하지 않습니다. 설사 그렇다 해도 아주 수박 겉핧기 식이죠. 여러 표폰을 바탕으로 오차를 최소화 시키는 연관지수를 찾는다는건데 함정은 말한마디 제대로 가르치려면 수백만~수천만개 이상의 표본이 필요합니다. 갓 태어난 아기가 특별히 가르쳐 주지 않아도 몇달만 지나면 사람,사물을 구분할 줄 알게 되고, 조금만 더 지나면 말을 알아듣게 되고, 몇번 시도하다 보면 걷게 되고, 얼마 지나면 말하게 되고, 또 얼마 지나면 응용하고 연상하고 사고까지 하게 되죠. 뭐 사람 두세명 화난 것만 봐도 다른 사람들이 화난 거랑 안 난거랑 구분할 줄 압니다. 이미 돌지나기 전에 분위기 파악에 눈치까지 볼줄 알고요. 표본 양으로 승부하겠다는 AI 는 여전히 사고, 연상 능력 없는 깡통에 불과합니다. 아마 사람이 저정도 데이터를 평생에 습득하고 배울 수 있다면 이미 물리학 궁극의 목표인 Theory of Everything 이 나오고도 남았을 겁니다. 구글이 AI 의 레벨을 한단계 끌어 올린 것은 맞지만 아직도 대단히 제한적인 환경에서저정도일 뿐이고 특히 검색 엔진, 쥐메일에서 오는 타회사와는 비교 불가 할만큼의 데이터양과 투자에도 불구하고 이 정도라는 것은 어쩌면 아이언맨의 자비스나 터미네이터 같은 AI 가 실현되기 전에 지금의 회사들이 먼저 모두 망하고 없어질 확률이 더 높을 것 같습니다. 이세돌씨도 사실 사고 능력 없지만 수백명의 프로 기사들의 경험을 다 가지고 있는 한 놈이랑 붙은 거랑 똑같죠. 어쩌면 이세돌씨가 놓은 수의 대부분이 이미 표폰 데이터에 고스란히 있었을 가능성도 다분합니다.

 

우리동네ml대장(구옥동자)

2018-05-10 09:33:15

지금 바빠서 링크만 달고 이따가 퇴근 후에 좀 더 말씀드려보겠습니다.

일단 이세돌을 이겼던 Alphago Lee 는 이세돌의 기보는 하나도 사용하지 않은 버젼이었구요,

커제를 이겼던 Alpahgo Zero 는 인간의 기보는 하나도 사용하지 않은 버젼입니다.

핵심은 reinforcement learning 에는 한마디로 모델링 / input / 보상 이것들만 잘 정의되어 있으면 트레이닝 데이터가 필요 없다는거죠.

https://deepmind.com/research/publications/mastering-game-go-without-human-knowledge/

 

그리고 구글에대해서 많은 분들이 오해하고 계신 점은 데이터를 다 가지고있으므로 알아서 맘대로 쓸 수 있을거다 라고 생각하시는데 절대 아닙니다.

search ads 는 gmail 데이터 전혀 접근 못하구요. 유튜브도 마찬가지입니다.

스시러버

2018-05-12 10:38:27

NN기반 AI시스템은 말씀대로 딥마인드 때문이 아니라 분산처리시스템의 성능의 비약적인 발전때문이고, 딥마인드가 유명해질시기 즈음에 많은 연구가 시작되었고 성과를 보이기 시작했습니다.

 

NN은 Biological NN를 흉내내려고 "노력"하는 차원에서 개발된 것이고, 물론 Biological NN에 대한 더많은 연구가 이루어지면, 그에 따라 AI도 발달하리라고 봅니다.기존의 주어진 데이터 기반의 Unsupervised Learning 과 Supervised Learning을 넘어서 이제는 주변환경과의 feedback을 통해서 self-learning을 해나가는 autonomous learning 을 이루는 것이 현재 학계에서 이루고자 노력하는 부분입니다. 

 

그 예로 보여준 게 알파고의 다음 버전인 알파고 제로입니다. 지금까지의 인공지능이 외부에서 데이터와 인간 지식의 도움을 받아야 했다면 알파고 제로는 대국상대 없이 순수히 독학만으로 learning을 이루었고, 결과는 알파고에 100전 100승을 이루었습니다. ( http://biz.khan.co.kr/khan_art_view.html?artid=201710190200001&code=920501#csidxac712ff2137b249acd9e650e9c91cda  ). 

 

포트드소토

2018-05-10 12:22:04

저도 무한질주후니 님과 비슷한 의견이구요..
사람들은 알파고가 바둑에서 사람 챔피언을 누른걸 대단하다 봅니다.  하지만 저는 별로 놀랍지 않았습니다. 그 이유는 좀 더 나중에 설명드리구요.. 
저는 그보다 만약 어떤 일반적인 보드게임을 할수 있는 AI를 만들었는데.. 아주 초보적이라도 제가 하는 룰을 이해하고, 그 룰을 바탕으로 이길려고 노력하는 AI 가 나온다면 더 놀랄것 같습니다. 
예를 들어 틱택톡 아시죠? Tic-tac-toe. 제 아들이 2살때부터 했는데요. 이 룰을 프로그래밍이나 학습 받지 않은 AI가 제가 룰을 간단히 설명했을때 이해하고, 그 다음 저와 play 할 수 있다면 저는 정말 깜짝 놀랄겁니다. 바둑으로 세계 챔피언을 이긴 것 보다요. 
물론 저는 그 AI 에게 지금까지 세상에 없었던 전혀 새로운 보드게임을 제안할겁니다. 
사실 이런 걸 할 수 있는 AI의 theory 나 그런건 제가 알기로 없어요..  그런데 사람들은 벌써 쓸데없는.. 무슨 그런 AI 의 권리 같은 그딴거나 생각하느라 시간을 낭비하고있죠.

CACPA

2018-05-10 13:36:24

67c71391313744dcae4.jpeg

 

우와... 토론의 수준이 제 이해의 범주를 넘어섰어요. 이과 망했으면... (ㅋㅋ 농담입니다.) 대단한분들 정말 많으신것 같애요 마모엔...

Goguma

2018-05-10 23:17:39

이과 토론장이네요... ㅋㅋ

포트드소토

2018-05-11 00:55:15

사실 이런 인공지능의 대한 정의나 지능, 의식 이런 것들의 대한 깊은 연구들은 문과쪽도 크게 연관이 되어 있다고 봅니다. 철학이 대표적이겠구요. 예를 들면, 엘런 튜링의 대표적인 튜링 테스트를 발표한것도 철학 저널입니다.  또한 자연어 인식이나 그런 분야에서는 언어학 분야의 각종 연구가 도움이 되겠죠.
요는 무엇이든지 과학적으로 얼마나 더 확실하게 정의할수 있고, 얼마나 더 체계적으로 구분하고 각각의 관계를 얼만큼 제대로 이해했느냐 라고 봅니다. 
어쩌면 이런 인공지능 분야는 존재할수도 없는 걸 인간이 끊임없이 추구하고 있는 걸지도 몰라요. 신의 영역에 가까워 지고 싶다일지도요. 물론 저는 누구의 영역이든 간에 엿보고는 싶네요. ㅎㅎ

universal

2018-05-11 07:02:17

문득 고등학생 때 영문학 수업에서 Whitman의 Song of myself 읽었던 기억이 나네요. 누구나 똑같은 원자로 이루어져 있다는 발견이 인간의 평등함에 대한 고민으로 이어졌다고...

 

그런데 재밌는건, 철학에서 과학적 개념을 상당히 많이 abuse한다는 거죠. 단골 소재는 하이젠베르그의 불확정성 원리나 괴델의 불완전성 정리. 수년 전에 엄청나게 잘 팔리던 자기계발서의 캐치프레이즈가 정확히 기억은 안 나지만 "양자역학에 따르면 모든 것은 관측되기 이전에 가능성으로만 존재한다. 그러니까 내가 원하는 것을 온 힘을 다해 바라면 우주의 기운이 모여 이루어지게 된다" 였습니다. 결국 철학에서 과학이란 상상의 나래를 펼칠 재료에 불과한 것 같아요.

 

(찾아보니 이 책 제목이 The Secret이군요. 한국에서만 유행한 줄 알았는데 미국에서도 베스트셀러였...)

soomba

2018-05-11 12:20:12

Research at NVIDIA: AI Reconstructs Photos with Realistic Results

 

https://www.youtube.com/watch?v=gg0F5JjKmhA

 

정돈

2018-05-11 14:46:16

저도 한때 machine learning을 했지만....

 

대단한 기술이네요 @@

soomba

2018-05-11 15:11:04

응용분야가 무한해보이네요

정돈

2018-05-12 00:06:13

앞으로 10년뒤는 또 엄청나게 발전해 있으리라 봅니다. 아마 70~80%이상의 직업이 AI 를 쓰는 쪽으로 진화/발전하지 않을까 싶네요, 저도 그래서 틈틈히 코세라로 인공지능 공부중이예요.

포트드소토

2018-05-11 13:47:57

사실.. 최신 기술의 이런 AI 들 중 가장 유용한게 Google Photo 에 있지요. 거기서 그림도 검색이 되지요.. 
Rabbit 치면 제가 십년간 찍어둔 수십만장 사진중 rabbit 이 들어가 있는 사진만 골라줍니다.
정말 신기하고 재밌지요.. ㅎㅎ 
하지만 제가 말하고자 하는 요지가.. 이 google photo AI 가 'rabbit' 의 뜻을 모른다는 겁니다. 
사진에서 그렇게 찾아낼 수 있어도 rabbit 이란걸 모른다는 겁니다. 그게 문제라는거지요.. ㅎㅎ
제가 표현력이 짧아서 다들 무슨 말인지 아실지?

WR

2018-05-11 17:13:02

이쪽 글타래를 통해 많이 배우네요, 감사합니다. 너무 재미있게 읽다보니 궁금한 점이 생겼는데요,  제가 이쪽 분야에 문외한이라 기초적인 질문일수 있어 양해부탁드립니다ㅎ

 

두가지가 궁금한데요, (1) Rabbit의 뜻을 모른다는게 왜 문제인가요? (2)그리고 만약 구글포토 AI의 성능이 발전해서 rabbit의 뜻을 알게 된다면, 그 안다는 것의 기준은 뭔가요? 

 

(1) Rabbit이 들어가 있는 사진을 자동으로 분류를 해 주기 때문에 사람이 일일히 찾아야 하는 시간과 노력을 아낄 수 있어서 좋은것 같아요. 근데 이걸 구동하는 방식이 Rabbit 이라는 단어의 뜻을 알고서 찾는것이 아니라 MS Word에서 문서내용을 검색할때 Find 기능으로 특정 단어를 단순검색하는것 처럼 기계적으로 찾기 때문에 이걸 인공지능이라고 부르기는 힘들다는 말씀인건가요?

 

만약 저한테 사진을 100장 주고 그 중에 토끼 사진을 찾아달라고 한다면, 저는 그 사진들 중 제 기억속에 있는 토끼의 모습과 매치가 되는 사진들을 골라낼거 같아요. 구글 포토 AI도 Rabbit 이라는 키워드와 토끼의 이미지를 연결시킨 후, 그것에 맞는 사진들을 골라 내는것 아닌가요? 근데 저도 사실 토끼에 대해 잘 몰라요, 어떻게 생겼는지는 알지만 토끼한테 별 관심이 없어서 외부 형태 이외의 것은 잘 모릅니다. Rabbit 이라는 단어와 실제 동물을 match 시킬정도의 지식만 있는거죠. 만약 제가 rabbit 이라는 단어와 그 동물의 생김새를 연결 시켜서 사진을 분류 했다면 저도 그 뜻을 모르고 분류 한게 되나요?

 

(2)사람들도 앎에 대한 정도의 차이가 있자나요. 초등학생 아이, 미술 전공 대학생, 그리고 토끼 생태학을 전공하신 교수님에게 각각 “토끼” 라는게 뭔지 아나요? 라고 물어보면 아마 3명 다 안다고 대답할거 같아요. 하지만 그 앎의 정도에는 많은 차이가 있겠죠. 어떤 기준으로 “구글포토 AI는 rabbit의 뜻을 안다” 라고 얘기할수 있을까요?

 

universal

2018-05-11 21:28:53

인간은 그렇게 분류한 이유를 설명하라고 하면 긴 귀를 두 개 가지고 있고 뒷다리가 길고 뭐 그런 식의 설명이 가능하지만 AI는 그러지 못하다는 점에서 알지 못한다고 부르신 것 같습니다. 이게 중요한 이유는 뭔가 문제가 생겼을 때 (가령 똑같이 긴 귀를 두 개 가졌는데 토끼가 아닌 동물을 보고 토끼라 한 경우) 인간의 사고는 그런 오류가 발생한 원인을 명확히 분석할 수 있는 반면 현재 AI는 그러지 못하다는 것이죠. 토끼를 구분하는거야 사소한 문제이지만 가령 자동운전 중 AI가 사고를 낸다면? 고전적인 AI라면 뭔가 알고리즘이 잘못되어서 그랬을테니 그 로직을 고치면 그만이지만, 머신러닝의 경우 가령 어떤 인간이 알 수 없는 이유로 그 사고를 낸 것이 최선의 선택이었다... 한다면 써먹을 수가 없는거죠.

WR

2018-05-12 20:44:49

아 그렇게 되는거군요. 답변 감사합니다!

포트드소토

2018-05-14 12:18:56

ㅎㅎ 사실 저도 그 Rabbit 을 안다는게 무슨 뜻인지 정확히 몰라요. 심지어 제가 진짜 Rabbit 을 다 안다고도 확신 못하죠. 그래서 문제인거죠.. 
인간도 Rabbit 하나의 정의를 완벽히 내리기가 어려운데.. 이걸 코딩해서 AI 가 알아먹을수 있게 완벽한 Rabbit Database 를 만든다고 해봅시다. 저는 그 프로젝트 하나에만 최소100명 엔지니어. 연구기간 2년 달라고 할겁니다.  그리고, 더 문제는 이렇게 Rabbit 의 Database를 만들었다 쳐도, 그걸 이해할수 있는 AI 가 어디있나요?

그리고, 현재 상태로 사진으로 Rabbit 만 구분하는 AI 가 있다고 할때 문제점이 뭐냐면요.. 
예를 들어 제가 자동차를 Rabbit 정도 속도로만 달리게 해라 라고 명령을 내리면.. 만약 만약에 그런 명령을 이해할수 있는 AI 가 있다고 쳐도..
그 AI 가 어떻게 결정을 하죠? AI 는 Rabbit 의 모양은 아는데.. AI 의 속도는 모르거든요?

다른 예로..  토끼는 사정을 빨리 하는걸로 유명하잖아요. 글 중에 '잠자리에서 토끼처럼 해버렸다' 이런 말이 있으면 과연 사진만 아는 AI는 어떻게 해석할까요?

밍키

2018-05-11 13:58:05

이 글타래 토론을 보니...."인공지능"의 정의가 말씀하시는 분들마다 조금씩 달라서 의견이 부딪치는것 같네요. 저도 이쪽에 관심이 있어서 Superintelligence, Life 3.0등의 책을 읽어 봤는데요. 인간처럼 종합적으로 사고하는 General AI만 진정한 AI로 보는것은 AI의 정의를 너무 좁게 보는것이라고 생각해요. 특정 부분에 국한되더라도 고급 앨고리즘을 써서 뭔가 인텔리전트한걸 구현할수 있다면..... 그게 말 그대로 "인공" 지능인거죠 ^^ 

포트드소토

2018-05-11 15:46:12

그럼요.. 용어 정의야 하기 나름이죠..

그런데, 문제는 회사들이 인공지능을 과장광고하는게 문제랄까요? ㅎㅎ

 

용어로만 치자면야.. 벌써 20년전에도 인공지능 세탁기, 냉장고, 밥통 다 나왔었습니다. 물론 어느정도 인텔리전트하게 구현했었구요.. ㅎㅎ LG 인공지능 Fuzzy 세탁기 같은거요..  어떻게 보면 '인공지능' 이란 용어를 너무 남발해서 문제일지도요. 
사실, 이미 우리가 모는 대부분 자동기어 자동차들도 다 인공지능차예요. CPU가 다 스마트하게 변속해주고 있지요.

tofu

2018-05-11 20:12:59

저는 이 분야에서 일하고 있습니다. 비지니스 세일즈/마케팅 전략 미팅에 갈 때마다 인공지능 연구자로서 포트드소토님이 말씀하신 것처럼 부풀린 마케팅이나 어떻게 보면 약간의 사기(?)같은 세일즈 전략에 굉장한 불편함을 느낍니다. 여기저기서 ai based solution 을 판매하는데, 더 자세히 알아보면 실망스러운 솔루션일 때도 많고 당최 뭐가 인공지능인지 헷갈릴 때도 많습니다.

 

그리고 누구보다 더 현재 쓰이는 알고리듬에 한계를 뼈저리게 느끼기 때문에 전자공학만으로 안되겠다 싶어 신경과학까지 연구하기도 했습니다. 뉴럴네트워크 (딥러닝) 이런 거 진짜.. 인간의 뇌를 제대로 흉내 내는 건 정말 너무나 먼 미래라고 봅니다. 그냥 신경망을 키우는 걸로 ai 가 단순하게 지식을 얻는 것을 지나서 기계가 이해/comprehension 단계로 가는 건 불가능하다고 봅니다.

 

그렇지만 지금까지 more data + computational power 이 가져온 ai의 진전은 정말 대단하다고 생각합니다. 제가 처음 인공지능을 공부할 때 불가능이라고 생각했던 것들이 이제는 ubiquitous 합니다. 그리고 앞으로 더 많은 분야에서 큰 발전을 가져올거라 믿습니다. 그래서 우리동네ml대장님 말씀처럼 우리는 하던 거 계속해야 한다고 생각합니다. 과장된 광고가 불편하지만 어떻게 보면 necessary evil 같기도 합니다. training data 는 많을수록 좋고 대중의 관심이 많을수록 연구 funding도 많아지니까요.

 

그래도 지금과 같은 방법으로만 간다면 넘어갈 수 없는 허들을 마주칠 날이 언제가는 올 것 같습니다. (lecun 은 아니라고 하겠지만요) 대중이 기다리는 true ai 는 뭔가 획기적인 발견이 필요할 것 같고, 저한테 물어본다면 아마도 biohybrid 식의 시스템이 아닐까 추측합니다.

얼마예요

2018-05-11 20:34:04

그러면 토푸님이 보시기에 구글 듀플렉스 는 어떤 점이  사기성이고 어떤 점이 과거에 불가능하던 것을 획기적으로 바꾼 것으로 보시나요? 

tofu

2018-05-11 20:58:46

획기적으로 바뀐 건 없어 보여요 more data + more training + (tweaking algorithm)^large# => 더 좋은 성능? 아주 많은 incremental improvement 들을 무시 못하죠 ㅎㅎ 

 

사기라고 보기는 그렇지만 듀플렉스의 한계를 자세히 알려주지 않으면 대중을 misleading 하는 거 같기도 해요 

universal

2018-05-11 21:32:12

뭔가 머신러닝 관련된 일 하시는 분들 많은 것 같은데요, 응용 말고 실제로 이론 하시는 분도 있나요?

theoretical machine learning 분야에서 핵심적인 higher dimensional probability 같은거요.

제 주변에 많이들 그 쪽에서 연구하는데 위에서 응용하시는 분들과 비전이나 인사이트가 상당히 달라요ㅎㅎ

무한질주후니

2018-05-12 11:50:05

예전에 학생때 살짝 했었는데요 실제 인더스트리에서 응용 분야에 일하다 보면 다를 수 밖에 없습니다. 가장 큰 차이는 feasibility 입니다. 사실 지금 활발하게 쓰이고 있는AI 알고리즘들 (자가학습 포함) 전부 몇십년 전에 페이퍼로 나왔던 이론들에서 크게 벗어나지 않습니다. (그래서 이론에 치중하시는 분들 중 소수는 AI는 사실 그 시대에 멈췄다고들 하죠). 대량의 데이터를 일반 회사나 그룹에서 처리가능 하게 된 것이 10년이 되지 않는데 덕분에 그나마 NN 이 실 생활에 이용 가능해 질만큼 정확도가 좀 올라서 특정 환경에서나마 사용 가능한거죠.

그런데 응용 분야도 많은 이론적인 연구가 있습니다. 그 대표적인 예가 자가 학습 중에, 어떻게 하면 결과를 bias 시키는 극단적인 경우를 제외시키느냐. 중복 학습으로 인한 오류를 어떻게 처리하느냐. NN은 학습을 할수록 수렴해야 하는데 오히려 분산을 시키는 학습을 어떻게 알아내서 제외시키느냐 등등. NN 자체를 개발했던 순수 이론 분야와는 다를 수 밖에 없습니다. 이론 만으로 따지자면 아예 요즘 활발히 연구하는 Neural Computing/Computer (아예 하드웨어 단에서 구현) 도 이론만 보면 아주 전망이 밝죠. 하지만 이것을 실생활에 당장 쓸 수 있느냐를 생각하면 또 다른 30~100년을 기다려야 할수도 있습니다. 마치 상대성원리가 발표된지 100년도 더 됐지만 이제야 검증 또는 오류가 실험에 의해서 부분적으로 밝혀진 것처럼요.

universal

2018-05-12 13:40:07

상대성원리는 검증된지 오래고요, 이미 GPS에서도 쓰이고 있죠. 아마 중력파를 의미하신거겠죠? 제 생각에 오히려 더 적절한 (그리고 더 가까운) 비교 대상은 ML 이전에 한창 뜨던 양자컴퓨터 같은데요. 더 자세히 쓸 시간은 없어서...

 

아무튼 요새 트렌드가 어느 분야든 너도 나도 ML 한다는 것 같은데... 말씀하신대로 대부분의 응용은 학계에서 보면 상당히 오래된 이론인데 그로부터 ML이나 AI의 비전에 대해 단정적으로 말씀하시는 분들이 많아, 그런 인사이트는 어디서 올까 궁금했습니다. 제 생각에 응용에서 가장 중요한 프로세스는 AI 자체와는 동떨어진 '데이터 가공'이거든요.

포트드소토

2018-05-18 12:54:09

결국 이런 글이 나왔네요..
요약하면..  그 인공지능 콜 데모는 너무 비현실적이라서 구글에게 진짜 였냐고? 이것 저것 물었지만, 구글은 대답하길 거절했다이네요.

기자가 의심가서 질문한 내용은..
* 다른 가게들에 전화하면 보통 "네 여기 천풍각 짜장입니다" 이렇게 자기 상호를 밝히는데 그런게 없었다.
* 그리고, 보통 예약하면 이름과 전화번호를 받아 적는데.. 전화번호를 안 물었다.
* 그리고, 보통 주변 식당이나 이발소의 시끄러운 노이즈가 하나도 없다.

구글이 100% 속인건 아닐지라도..

식당: For 4 people, you can come. (예약 안되니까 그냥 와라)
Duplex: How long is the wait?


이런건 이미 시나리오 베이스로 프로그램에 짜 놓았겠죠. 당연히..
나머지도 if-else, case based 로 다 구현 가능한 거죠.. 100% 성공률은 아닐지라도..

https://www.vanityfair.com/news/2018/05/uh-did-google-fake-its-big-ai-demo

우리동네ml대장

2018-05-18 14:12:13

https://news.ycombinator.com/item?id=17094231

에 보면 이미 dogfooding 도 해봤고 코드도 봤다고 하는 구글러가 fake가 아니라고 하네요 ㅎㅎ 좀 더 기다려보죠. 어떤 기능이 가능한지 차츰 알려지겠죠.

목록

Page 1 / 3815
Status 번호 제목 글쓴이 날짜 조회 수
  공지

마적단의 기초 | 검색하기 + 질문 글 작성하기

| 정보 33
  • file
ReitnorF 2023-07-16 33893
  공지

게시판의 암묵적인 규칙들 (신규 회원 필독 요망)

| 필독 110
bn 2022-10-30 58044
  공지

리퍼럴 글은 사전동의 필요함 / 50불+ 리퍼럴 링크는 회원정보란으로

| 운영자공지 19
마일모아 2021-02-14 78989
  공지

게시판 필독 및 각종 카드/호텔/항공/은퇴/기타 정보 모음 (Updated on 2024-01-01)

| 정보 180
ReitnorF 2020-06-25 185445
new 114440

집에서 오로라가 보여요!

| 잡담 3
  • file
Alcaraz 2024-05-10 111
new 114439

스카이패스 KAL Lounge Coupon(Valid until June 30, 2024)

| 나눔 13
smallpig 2024-05-10 573
new 114438

LAX - ICN 아시아나 비즈니스 왕복 발권 후기

| 후기-발권-예약 3
킴쑤 2024-05-10 623
updated 114437

US Bank Skypass 카드 이름 불일치로 인한 스카이패스 이중계정 해결 후기

| 후기-카드 13
meeko 2022-01-29 2325
new 114436

한국 영화와 한글 자막이 있는 스트리밍/ott 서비스 추천받을수 있을까요?

| 질문-기타 1
  • file
atidams 2024-05-10 72
updated 114435

라스베가스 싱글 패밀리홈 구매: 썸머린과 핸더슨 투자가치, 어디가 좋을까요?

| 질문-기타 30
벨뷰썸머린 2024-01-18 3386
updated 114434

마일게임 개악? 비자와 마스터 카드 사용시 소매점들이 추가 요금을 부과할수도

| 잡담 55
Tristate 2024-03-26 3434
updated 114433

미국 유학에 대한 고민과 결정

| 질문-기타 63
위대한전진 2024-05-06 7163
new 114432

(약간의 update) Amex card approve는 났으나 카드 발급이 안되어 발송도 재발송도 못하는 상황

| 잡담 5
라이트닝 2024-05-10 790
updated 114431

AA마일 사라진다고 하는데 어떻게 하면 좋나요?

| 질문-항공 14
  • file
atidams 2024-05-05 2654
updated 114430

(Update 5/9/24) GE (Global Entry) / TSA-Pre 주는 크레딧 카드 List

| 정보-카드 69
24시간 2018-06-18 12521
updated 114429

모든 북미 Tesla FSD 이번주부터 한달 공짜

| 정보-기타 123
hitithard 2024-03-26 11887
updated 114428

한국으로 송금 remitly써보셨나요? 환율이 너무 좋아요

| 질문-기타 748
  • file
UR가득 2020-05-04 156718
updated 114427

업데이트3- 약간?주의사항)신IHG 카드소지자에게 주는 United $25 크레딧 잘 사용하는 방법

| 질문-호텔 116
항상고점매수 2023-01-03 9243
updated 114426

초보자를 위한 코너: 아무거나 물어보세요 + 아무나 답변해 주세요

| 잡담 3377
  • file
shilph 2020-09-02 75490
new 114425

2024 기아 텔루라이드 구입후기

| 잡담 2
여행가즈아 2024-05-10 669
updated 114424

Wealthfront 리퍼럴이 있으신 분들은 이 글에 점을 찍어주세요

| 정보-기타 30
마일모아 2022-12-04 2397
updated 114423

(미국 시민권자) 한국 방문시 배달의 민족 사용 가능?

| 질문 22
파이어족 2023-10-06 3847
updated 114422

이직 관련 결정장애 - 여러 잡 오퍼들 선 수락 후 통보 vs 선 결정 후 수락. 여러분은 어떤 선택을 하실껀가요?

| 질문-기타 17
원스어게인 2024-05-09 1307
updated 114421

학전 그리고 뒷것 김민기

| 잡담 9
달라스초이 2024-05-08 2505
updated 114420

아멕스 팝업 탈출 후기 입니다 (업데이트 : 저만 그런게 아닌 것 같습니다!!!)

| 후기-카드 112
캡틴샘 2024-05-04 7954
new 114419

한국에서 토들러 두명과 지낼만한 에어비엔비 추천해주실 수 있을까요?

| 질문-여행 7
미꼬 2024-05-10 970
updated 114418

[ Update (?) ] 대학교 2학년 기숙사 housing contract, 다른 학교로 트랜스퍼시 termination fee?

| 질문-기타 5
GHi_ 2024-02-07 1012
updated 114417

서울 노포 음식점 가보기

| 잡담 24
벨뷰썸머린 2024-05-09 2548
new 114416

[5/10/24] 발느린 늬우스 - 뭔가 새로운 카드 이야기와 좋은 이야기가 많은 보물들 같은 늬우스

| 정보 31
shilph 2024-05-10 1926
updated 114415

샘소나이트 지금이 구매 적기입니다! (최저가)

| 정보-기타 50
  • file
만쥬 2024-05-03 9698
updated 114414

Chase 사리/사프 두 개 열기 MDD

| 정보-카드 22
프로애남이 2021-03-25 8747
updated 114413

박사과정 중 저축에 관한 고민

| 질문-기타 26
한강공원 2024-05-08 3543
updated 114412

2023 Lexus RX350 Premium 가격 좀 봐주세요

| 질문-기타 24
  • file
다비드 2023-06-05 4903
new 114411

힐튼 숙박권 취소후 재예약

| 질문-카드 13
세계일주가즈야 2024-05-10 619