시리즈가 완성된 기념으로 목차 답니다. :)
[자율주행] 1. 자율주행이란 무엇인가? (부제 Tesla는 왜 자율주행차가 아닌가?)
[자율주행] 2. 자율주행 업계 현황 그리고 그 안에서 Tesla의 위상은?
[자율주행] 3. 자율주행 구현은 어떻게? Camera만 쓴 자율주행은 정말 가능할까?
=============================================================
자동주행 단계들의 정의, 특히 운전 보조 시스템(L2)과 진정한 자율주행(L4+) 간의 차이를 집중 탐구했던 지난 편에 이어 이번 편에서는 L4+ 업계 리더들의 실제 현황을 알아보고, Tesla와의 비교를 통해 2020년 말까지 L5 상용화 및 robo taxi 사업을 완성하겠다는 그들의 주장이 얼마나 현실성이 있는지 고찰해볼까 합니다.
자율주행에 대한 일반적인 사실만을 다룬 지난 번 글과는 달리 이제 본격적으로 가치 판단이 들어가는 이번 2편부터는 분명 다양한 반론들이 나올 수 있으리라 생각합니다. 그래서 부탁 한가지를 드리는 것으로 시작하고자 합니다. 의견 댓글로 남겨주시면 감사히 받아들이고 제 생각을 진지하게 공유하도록 하겠습니다만, 이 글의 주제 안에서만 의견을 한정지어주셨으면 합니다.
예를 들어 제가 Tesla나 Elon Musk를 비판할 때마다 자주 나오는 반론인, "그래도 Elon Musk가 인류 사회에 공헌한 바가 크다"... 네 그렇게 보시는 분들이 많은 것 잘 알고 있고 저도 어느 정도는 인정합니다. 하지만 그건 Tesla의 자율주행 능력 평가와는 아무런 관련이 없지요.
혹은 "Tesla가 자율주행 기술이 딸리는 건 알겠지만, 그래도 상용차 중에 Tesla 만큼 한 곳이 있냐?" 맞는 말씀인데요. 비유하자면 달착륙 경쟁을 하고 있는데, 한 회사가 전용 우주선을 쓰지 않고, 상용 여객기로 달에까지 가겠다고 하면서 거의 대기권 제일 위까지 도달했다고 하면... 뭐 대단하긴 하고 분명 거기서 산출되는 부가기술들도 많겠지만, 달착륙이라는 주제 안에선 그게 상용 여객기라는 핸디캡을 고려해서 기술 평가를 할 이유는 없는 거잖아요?
올릴 때마다 워낙 민감한 주제이다 보니 이런 disclaimer부터 하게 됐네요. 그럼 시작해보겠습니다.
---
현재 L4+ 자율주행을 개발하고 있는 업체들은 수도 없이 많지만, 그 중에서도 리더를 꼽으라면 거의 모두가 Waymo(과거 Google)와 Cruise(GM이 인수)를 꼽습니다. 어디서 모아놓고 공식 비교 테스트를 하는 거도 아니고, 아직 출시도 되지 않은 제품이라 사고율 정보도 없는데 어떻게 이 두 업체의 기술이 타사 대비 월등한지 알 수 있냐구요? 사실 지금 당장은 공정하게 기술력을 비교할 방법은 없습니다. 하지만 꽤 근사하게 추정할 수 있는 방법이 있지요.
California에서 자율주행을 테스트하고 있는 회사들은 매년말 의무적으로 CA DMV에 disengagement report라는 걸 제출해야 합니다. (제가 얘기했죠? Disengagement 중요한 개념이고 계속 나올 거라고...) 이게 뭐냐면 과거 1년 동안 운행한 자율주행차 댓수, 운행 거리, 그리고 그 운행 거리 동안 발행한 disengagement 횟수, 다시 말해 safety driver가 몇번이나 자율 주행 시스템을 해제하고 직접 운전을 해야 했냐, 등을 정리한 리포트예요. 당연히 disengagement 가 적게 발생했을수록 좋겠죠. 그래서 거리/횟수를 계산해서 몇 마일마다 disengagement가 발생했냐, 혹은 반대로 횟수/거리를 계산해서 1,000 마일 동안 disengagement가 몇번 발생했냐를 계산해서 비교합니다. 제 글에서는 전자, 즉 disengagement 간 거리를 기준으로 삼겠습니다.
그럼 상기한 두 업체의 disengagement report 기록을 보겠습니다. Disengagement 간 평균 거리이므로 높을수록 좋습니다.
보시다시피 작년 2018년을 기준으로 Waymo는 평균 약 11k 마일마다 한번씩 disengagement가 발생했고, Cruise는 약 5.2k 마일마다 한번씩 발생했습니다. 이거 생각해보면 엄청난 수치예요. 1년에 보통 1만 마일 정도 운행한다칠 때 지금 당장 Waymo 차를 타면 1년에 딱 한번 정도 외에는 차가 알아서 다 운전을 해줄 수 있다는 얘기입니다. 반대로 생각해보면 무섭기도 합니다. 아니, 1위라는 업체 차를 타면 1년에 한번 꼴로 사고가 난다는 거야?!
또 하나 눈에 띄는 점은 Cruise의 2018년 수치가 Waymo의 2016년 수치와 비슷하다는 겁니다. 그럼 Cruise의 기술이 Waymo보다 약 2년 정도 뒤떨어져 있다고 보면 될까요? 그렇게 단정내리기는 힘듭니다. 이 CA disengagement report에는 몇가지 맹점들이 있거든요.
1. California 밖에서 테스트한 내역은 포함되지 않습니다. 따라서 Waymo는 Phoenix에서 이미 베타 서비스를 시작할 정도로 AZ에서도 활동 내역이 많지만 그 내용이 포함되지 않았고, 실제로 이를 포함하면 저 수치가 더 떨어지거나 올라갈 수 있겠죠.
2. 비슷하게 California 밖에서만 테스트하는 업체가 있다면 아예 저 명단에 올라가지 않습니다. California, 특히 Bay Area가 가지는 tech hub로서의 상징성을 고려할 때 그런 업체가 있을 가능성은 매우 낮긴 하지만요.
3. Disengagement의 정의가 업체마다 다를 수 있습니다. 예를 들어 Cruise의 경우 어떤 일이 있었냐면, 자율주행차가 신호등에 걸려서 섰는데 마침 횡단보도 위였다고 합니다. 그래서 safety driver가 자율주행 기능을 잠시 끄고 신호등 밖으로 차를 움직였는데, 이는 차량 안전 때문에 disengagement가 발생한 것은 아니라고 보고 저 report의 수치에 포함시키지 않았다고 합니다.
4. 각 회사 별로 주로 테스트하는 지역, 도로가 다를테고 따라서 주로 어려운 지역에서 테스트를 하는 회사일수록 불리한 수치가 나오게 됩니다. Cruise의 경우 SF 시내에서 주로 테스트를 하는 것으로 유명합니다. 따라서 Waymo와 동일한 환경으로 바꿀 경우 저 위의 수치들 간의 격차는 좀 더 좁혀지거나 심지어 역전될 수도 있는 일입니다. 또 Waymo의 경우 2017년과 2018년의 수치에 큰 차이가 없는데, 이것만 보곤 기술 발전의 한계에 부딪혔다고 단정내리긴 힘듭니다. 단순히 2018년에는 좀 더 어려운 곳들에서 테스트한 것일 수도 있거든요.
---
자, 이쯤에서 과연 2020년 말까지 L5 기술을 모든 차량에 배포하겠다는 Tesla는 과연 어떤 수준인지 볼까요? 위 그래프에 Tesla의 기록을 포함시켜봤습니다.
네? Tesla가 안 보인다구요? 음... 일단 Waymo를 삭제하고, 2018년 기록도 삭제하고, 점도 확대하고 해볼께요.
이젠 보이시죠? 이게 도대체 무슨 뜻이냐구요? Tesla는 2016년에 무려 평균 3마일마다 한번씩이라는 치욕적인 disengagement report를 제출하고 나선 그 뒤로는 한번도 자료를 제출한 적이 없습니다. (2016년의 Cruise가 그래프 상에선 비슷해보여도 실제 수치는 54마일입니다.) 아니, 정확하게 말하자면 그 뒤로도 제출은 했는데, 내용을 보면 우리는 뭐 shadow mode로 테스트 없이도 열심히 배우고 있고 어쩌고 하는 홍보 자료 수준이고, 결론은 작년에 우리는 CA에서 자율 주행 테스트를 하지 않았음입니다.
물론 위에서 서술한 disengagement report의 한계 상 Tesla가 CA 밖 어디선가 자율주행 테스트를 열심히 하고 있지만 그게 리포트에 나오지 않는 것일 수도 있습니다. 충분히 가능한 시나리오이긴 한데, Elon Musk와 Tesla의 과거 PR 이력이나 성향으로 볼 때 타주에서 좋은 자료가 나왔는데 이를 숨기고 있을 확률은 0%라고 봅니다. 그러니깐, CA 밖에서 테스트를 하고 있더라도 결코 좋은 성적은 아닐 거라는 추측이 나온다는 거죠.
이런 자료들을 볼 때 Tesla가 자율주행에 있어서 다른 업체들에 비해 vastly ahead 해있다는 Elon Musk의 주장은 과연 어디서 나온 건지 궁금해지기만 합니다.
---
이쯤에서 약간 앵글을 바꿔서, 정량적 분석이 아닌 정성적 분석을 좀 해볼까요? 이 회사들의 실제 주행 모습을 보고 한번 판단을 해보자는 얘기입니다. 먼저 Waymo, Cruise 양강 회사부터...
일전에 소개해드린 영상인데, Cruise의 2년 전 영상입니다. 플레이 버튼을 누르시면 SF 내에서 운행을 하는 장면이 바로 나옵니다. 맨하탄보다야 한적하지만, 그래도 비숙련 운전자들은 아주 단단히 각오를 하고 들어가는 곳이 SF 시내인데 아주 안정적으로 주행을 해내죠. 자율 주행 현황에 대한 tech talk이라 내용도 재미있어서 관심이 있으신 분들은 끝까지 보실만 합니다.
이것도 위 영상이랑 같이 소개한 적이 있죠. Waymo(당시엔 Google)의 5년 전 영상입니다. 위 Cruise 영상 만큼 인상적이진 않지만, 기찻길 앞에서 안전하게 정차한 뒤 기다렸다 출발하는 모습은 저보다 낫다 싶을 정도네요.
Cruise의 최근 영상입니다. 복잡한 도심에서 운전을 하려면 무조건 정해진 규칙만 따를 수는 없죠. 실제 상황에서 얼마나 유연한 대처를 하는지 정말 잘 보여줍니다. 특히 마지막에 버스에 가려서 2차로의 차들이 안 보이는 상태에서 조금씩 전진해서 비보호 좌회전을 해내는 모습은 진짜 말 그대로 소오름!
다시 Waymo의 4년 전 영상입니다. Waymo는 아쉽게도 Cruise만큼 최신 주행 영상이 공개된 게 별로 없네요. 대신 이 영상은 자율 주행 차량이 어떻게 정보를 받아들이고 어떤 식으로 대응하는지, 그리고 어떤 종류의 예외 상황들까지 고려해야 했는지를 알기 쉽게 잘 설명해줍니다.
이 정도 되는 업체들이 현재 인정받는 선두 주자이고, 그럼에도 불구하고 이 정도로는 아직 L4+ 달성에는 부족하다고 판단하여 베타 서비스 정도에 만족하며 연구개발에 몰두하고 있습니다.
---
이번에는 비교를 위해 Tesla의 따끈따끈한, 한달도 안 된 최신 영상을 한번 보겠습니다. 올해 4월 22일에 Tesla는 Autonomy day라는 investor 대상의 행사를 열고 내년까지 L5 주행 기능 완성 및 배포, robo taxi 서비스 시작을 공언하면서 자사의 자율주행 기술에 대한 프리젠테이션과 비공개 test drive를 진행한 뒤, 데모 영상까지 하나 발표했는데요. 그 영상을 한번 볼께요.
딱 봐도 대비가 되죠? 정말 예외 상황이라곤 전혀 발생하지 않고, 복잡한 교차로도 지나지 않는 교외의 아주 한적한 곳에서 찍은 영상입니다. Tesla 잘 아시는 분들은 아시겠지만, 이 회사가 더 복잡한 케이스도 데모할 수 있으면 이 정도로 끝낼 회사가 절대 아니죠. 그냥 지금 Tesla의 자율주행 수준이 고작 이 정도 난이도의 주행만 커버할 수 있는 수준인 겁니다.
그런데 더욱 놀라운 것은 이게 그나마 잘 됐을 때의 영상이라는 겁니다.
이 영상이 공개된 Autonomy day 때 참석자들을 대상으로 촬영을 하지 않는 조건으로 비공개 자율 주행 데모를 실행했는데, Tesla 측에서 미리 계획한 간단한 경로들 중 하나를 선택해서 진행하는 방식이었음에도 불구하고, 주행이 그닥 매끄럽지 않고, 심지어 disengagement가 발생했다고 합니다.
Deutsche Bank analyst Emmanual Rosner, who took a test drive of the vehicles Tesla showed on Tuesday, was skeptical, writing, “Throughout the ride, the car performed relatively well but experienced a few rough maneuvers and had one disengagement where it failed to recognize cones blocking off some parked vehicles on the side of the road.”
He continued, “Given our own test ride still faced issues despite being on a pre-planned course and under relatively simple road conditions, we believe the company’s targeted timeline for both full self-driving and its robotaxi service is at the very least aggressive. Ultimately, we still wonder whether Tesla can even solve the large challenges of fully autonomous driving with its vision-based approach alone.”
조금 더 깊게 들어가서 발표된 기술 수준도 한번 비교해볼까요?
그나마 Autonomy day 발표에서 희망을 심어준 image recognition을 예로 들어보겠습니다. 그날 아주 자랑스럽게 "우리처럼 log가 무진장 많은 회사만 잡아낼 수 있는 극단적인 edge case지"하고 자랑한 것 중에 하나가 바로 아래의 "자전거를 뒤에 달고 가는 SUV" 케이스입니다. 이런 경우 차와 자전거를 별도의 object로 해석하면 안 되고 하나의 object로 이해할 수 있어야 한다는 거죠.
미국에서 운전 좀 해본 분이라면 자전거를 뒤에 달고 다니는 SUV가 정말 Tesla가 access 가능한 log의 방대함과 image recognition 기술 수준을 showcase할 예제가될 만큼 희귀하고 어려운 케이스냐라는 생각이 드실 겁니다. Autonomy day라고 거창한 이름을 붙여놓고 사람들을 부른 행사에서 고작 자랑할만한 수준이 이 정도냐는 거죠. 이것도 한번 Waymo, Cruise랑 비교해볼까요?
Waymo의 사례 하나. SUV 뒤에 달린 자전거을 주행 중인 자전거와 구별하는 수준이 아니라 트럭 뒤에 올라타서 작업 중인 사람과 보행자를 구분하는 수준임을 설명하는 이미지입니다.
또 다른 Waymo의 사례. STOP 사인이라고 다 같은 STOP 사인이 아닙니다. 학교 앞에 사람이 들고 나와서 서는 STOP 사인이 있고, 스쿨버스에서 튀어나오는 STOP 사인도 있으며 (여기까진 흔하죠?) STOP 사인을 들고 달리는 자전거;;;에서 검출되는 STOP 사인도 있습니다. 이런 것들도 구별합니다.
마지막으로 Cruise 사례도 하나 갈께요. 왼쪽은 캡춰 이미지에선 잘 안 보이는데, UPS 트럭의 비상등이 신기하게 좌우가 교대로 켜집니다. 오른쪽에선 이 중에 어떤 게 진짜 turn signal light인지 어떻게 구분해야 할까요?
결국 다른 업체들은 지금 대학교 공학 수학, 선형대수학 풀고 있는데, Tesla는 맨날 구구단만 하다가 이제 겨우 2차 방정식의 근의 공식 정도 배우고 나서, "짜잔~ 내가 바로 수학 천재라구!"라고 하는 수준입니다.
---
어떻게들 느끼시나요? 개인적으로 Autonomy day 행사를 봤을 때 딱 떠오른 에피소드가 있습니다. 바로 2009년 중순에 있었던 티맥스 소프트의 Tmax Window 공개 행사입니다. 2009년 말 공공기관용 출시, 2010년 일반인 대상 출시(어떻게 타임라인까지 비슷;;;)를 목표로 MS Windows 완벽 호환을 내걸고 개발된 이 OS의 발표 행사는 미리 계획했던 시나리오대로 진행했음에도 불구하고 엄청나게 느린 속도와 블루스크린 등으로 점철된 비극의 공개 행사가 되고야 말았죠. Tesla는 다행히(?) 메인 행사를 모두 그 흔한 동영상 하나 없이 기술 발표로만 메워서 그 정도의 사태는 면하긴 했는데, 결국 최종적으로 알려진 기술 수준을 보면 딱 비슷한 수준의 상황으로 보입니다.
현재 이렇게 민망한 수준으로 초보적인 기술을 갖고 있는 회사가 당장 내년 말까지 다른 선두 업체들도 지금 당장은 불가능하다고 인정한 L5를 완성하고 심지어 robo taxi 사업까지 하겠답니다. 이걸 얼마나 믿어줘야 할까요?
먼저 L5 달성. 이건 그냥 안 됩니다. 그 어떤 업체들도 L5 달성과는 거리가 멀고, Tesla는 더욱 그렇습니다. L5도 아닌 L4를 지향하는 Waymo의 차량의 카메라에는 이런 게 달려있습니다.
이게 뭐냐면 차량의 카메라 렌즈가 새똥 등으로 인해 더러워지면 자동으로 카메라를 닦아주는 시스템입니다. L5를 구현한다는 얘기는 모든 날씨와 조건에 대응한다는 얘기이고, 이 정도는 기본 중의 기본입니다. 주행 중간에 카메라에 먼지가 달라붙거나, 도로가 눈에 뒤덮이거나, 빗물이 애매하게 튀어서 렌즈에 붙어 왜곡이 일어나도 대응할 수 있어야 합니다. 이 정도를 준비한 Waymo도 아직은 L5는 무리라고 합니다. 한겨울 눈이 펑펑 내리는 날 스키장 주차장에 도착하면 직원들이 나와서 수신호로 주차장 방향 및 구체적인 주차 위치를 지정합니다. 이런 상황까지 어느 정도는 대응해야 L5입니다.
그 수많은 케이스들을 지금 간단한 카메라 렌즈 청소 기능도 없는 Tesla가 내년까지 다 handle하겠다구요? Lidar도 없이? (현재로써는 lidar 없이는 L5는 커녕 L4도 불가능합니다. 자세한 내용은 다음 편에 더 설명하겠습니다.) 어쨌든 이론상으로는 이 수많은 난관을 뚫고 내년까지 L5를 상용화하는 게 가능하긴 하겠죠. 근데 그 얘긴 영어도 잘 못 하는 영주권자인 제가 죽기 전에 natural born citizen만으로 제한된 미합중국 대통령 자격을 개헌을 통해 바꾸고 당선까지 되는 것이 이론상 가능한 것과 같은 맥락의 이론상 가능성이죠. 전 이건만 따지면 실리콘 밸리 사기꾼의 대명사 Theranos의 Elizabeth Holmes에 버금가는 맹벽한 사기행각이라고 봅니다.
---
그럼 L5는 Elon Musk가 숨쉬듯이 하는 허풍이었다 치고, L4는 어떨까요? 전 이것 역시 힘들다고 봅니다. L4가 결코 쉬운 게 아닙니다. 간단한 예를 하나 들까요? Waymo 차량에는 외장 microphone이 달려있습니다. 왜 그럴까요?
바로 이 이미지에 나온 것처럼 긴급 차량이 사이렌을 울릴 경우 정지를 하거나 갓길로 비키는 기능이 필요하기 때문입니다. Tesla의 자율주행 홍보 홈페이지에는 센서에 관한 설명이 무척 많지만 마이크에 대한 얘기는 없습니다. 아직 여기까지는 생각도 못 해봤겠죠.
이럴 때 Tesla와 Tesla 옹호론자들이 들고 나오는 비장의 무기가 있습니다. 바로 Tesla 전차종에서 실시간으로 수집되는 log입니다. 그런데 이 log라는 게 절대 전가의 보도가 아닙니다. Log 만능설에 간단한 반례 하나 들어볼까요? Tesla Autopilot이 출시된 게 2014년입니다. 그때부터 지금까지 Tesla는 Autopilot 핵심 기능에 대해서는 정말 지겹도록 차고 넘치는 양의 log를 쌓았을 겁니다. 그런데 현실은 어떤가요?
분기점에서 앞에 차 하나가 갑자기 끼어들었다는 이유 만으로 정신을 못 차리고 분리벽으로 돌진을 하는가 하면,
https://np.reddit.com/r/teslamotors/comments/bien11/was_merging_onto_a_ramp_on_unconfirmed_noa/
고속도로에서 잘 가다가 위에 고가도로 그림자에 놀라서 급브레이크를 밟기도 합니다.
(이 동영상에서 또 다른 웃긴 부분은... 패널에 표시되는 우측 차량들의 형상을 보세요. 개별 차량들을 전혀 인식하지 못 하고 트럭 하나로 퉁쳐서 인식하는데 심지어 그 트럭의 위치가 널뛰기를 합니다.)
13초 부근에서 갑자기 속도가 줄어드는 것을 볼 수 있습니다. 고속도로에서 뒤에 바로 붙어서 따라오는 차가 있을 때 이런 현상이 발생한다면 정말 위험하겠죠.
엄청나게 축적한 log 만으로도 자율주행 기술 선도가 가능하다면, 왜 이렇게 기초적인 문제를 못 풀고 있을까요? 혹은 이런 오류가 발생하는 것을 방지하지 못 했을까요? 자율주행의 기술적인 요소들을 좀 더 깊숙히 다룰 다음 편에서 더 자세히 설명하겠지만, 비유로 설명하자면 log가 압도적으로 많다고 해서 자율 주행 기술 우위를 점할 수 있다는 논리는 참고서 많이 산다고 서울대 간다는 논리와 다를 바가 없습니다.
마지막으로 또 다른 Tesla의 특장점인 OTA에 대해서 간략하게 얘기하자면, OTA는 기술 개발에 있어서 플러스 알파 정도의 요소이자 동시에 위험할 수 있는 양날의 검일 뿐, 게임 체인저의 수준은 아닙니다. 개발된 기술을 실시간에 가깝게 적용하고 피드백을 받을 수 있다는 점은 좋지만 그렇다고 해서 핵심 기술 개발 시간이 의미있게 단축되지는 못 합니다. 오히려 L4+로 가까이 갈수록 절대 안정성을 추구해야 하는 제한 때문에 사실상 큰 의미가 없기도 하구요.
결국 현재 수준도 민망할 정도로 뒤떨어지고, 향후 전망도 딱히 더 나을 것이 없는 Tesla가 내년까지 모든 업체들을 제치고 의미 있는 수준의 L4를 배포하고, robo taxi 사업을 제한적이나마 시작할 수 있는 가능성 역시 전 0%로 봅니다.
---
휴우~ 앞으로 몇주간 주말에 큰 일정들이 있어서 당분간 진도가 안 나갈 것 같아 오늘 무리하게 달렸더니 손가락이 넘모 아프네요 ㅠㅠ 오늘 목표했던 주제는 여기까지 하고, 다음 글에서는 몇번 언급한대로 좀 더 기술적으로 깊이 들어간 부분들, 특히 자율주행 차량에 쓰이는 센서들의 장단점과 Tesla의 전략의 한계에 대해서 짚어볼까 합니다.
긴 글 읽어주셔서 감사하고, 서두에 말했듯이 이 글의 주제 안에서는 얼마든지 다양한 토론을 환영하니 댓글 남겨주시면 늦게라도 (일단 손가락 좀 쉬고;;;) 읽고 답글 달겠습니다. 감사합니다.