모델3 오토파일럿 또 트럭에 정면충돌했네요. 역시 비젼의 한계..

흰색트럭을 정말 잘 인식을 못하네요... 운전자들이 아직 Tesla 자율주행이 믿을만한 수준이 아니란걸 알아야 할텐데요.

문제는 자동차 회사가 계속 다 잘 된다고 그러니 믿는거지요.

근데 캘리 I-5 freeway 에 도로상에 타이어들 참 많던데, 그런걸로 테슬라 사고 아직까지 안 난거 보면 실제 운전자들 대부분 안 믿는 듯.. 하긴 모두 사고나기는 싫을테니까요.

그래도 다행이 이번엔 사람은 별로 안다쳤겠네요.

길가운데 서있는 아저씨 배짱이 대단하심당. 한발짝 안물러났으면 저세상 사람일듯요

그러게요. 설마 이걸 못보고 박을까 하신듯...

왜 근데 길에 트럭이.누워있죠? 이건 자율주행이 책임 아님당. 아예 예상범위를 넘어감. (농담반 / 진담반입니다) 

ㅎㅎ. 도로에서 사고나면 트럭 뿐만 아니라 여러가지 누워있을수 있죠. 소들도 누워있을 수도 있고...

예상 범위를 넘어갔죠. 후진 비젼 베이스 예상 범위요. 그런 범위 가지고 FSD 하면 진지하게 여럿 죽어요. 그냥 하지 않는게..

FSD 마케팅 텀인데 속으면서 사는사람은 잘못없는데. 개발자 입징에선 저런 예외케이스 잡아내면 대단한거죠. 물론 이런것도 못잡아내면서 어떨게 FSD냐 라고 sue하는건 다른문제지만. 아주 골때리는 사건인건 틀림없어요. 테슬라 운전자가 충돌직전에 브레이크 잡은듯흔데 형체는 멀쩡하네요. 운전자가 치명상입지는.않을듯

속인 회사는 잘못이죠.

그리고 이런거 막을려고 다들 LIDAR 장착하는거구요.

그리고 가장 기본인 긴급 브레이크 기능부터 테슬라는 제대로 작동안해요.  작년 AAA 보험사 실험결과 찾아보세요. 여기 마모에도 제가 전에 요약했었구요

동감입니다 저런 반쪽짜리를 full이라고 판회사는 비난받아야 한데. 비난은 커녕 주가만 오르니.

암튼 기계가 하는일을 인간이 믿고 맡긴다는거 자체가 에러라고 생각합니다. 믿도 산 운전자가 순진한거죠.

Ai가 인간을 대신할 순간은 인간이 할수 있는 모둔 인지 능력을 학습했을 때인데 그게 언제 가능 할까요? 전 초소한 50년 더 걸린다에 한표입니다.

FSD는 아직도 추가금받고 예약만 받는걸로 알아요. 

#일론머스크 천재인가 세기의 사기꾼인가

이 정도는 예상 범위 안이라고 생각합니다.

하물며 도로에 있는 구멍이라던가 앞에 있는 차에서 의자가 떨어진다던가 하는 경우도 아니고

저렇게 큰 트럭이 immobile 인데 FSD라고 자랑할려면 저정도는 잡아야죠 

저렇게 떡하니 멈춰져있는(그리고 길을 가로 막고 있는) 거대한 물건이 있는데도 인식못하는건 문제가 있는겁니다. 

테슬라 쉴드 치고 싶은 생각은 없는데 저 상황은 아직 AI가 train 되지 못한상황인거 같습니다. 일론이 개구라 쟁이라서 FSD판다고 해도 저런싱황 빠져나갈 궁리는 했을겁니다. 

다만 브레크 잡힌 시점이 칠뻔한 아저씨라면 심각한 로직의 오류가 있을테고. 일단 사람을 인식못해서 칠뻔하게 제일 큰잘못. 두번째 멈추는 시도한데 너무 늦은게 두번째 잘못. 세번째 트럭이 넘어진 상황판단 못한게 잘못. 

근데 모든걸 떠나서 법적으론 트럭 잘못일겁니다. 안전조취 불이행으로.

일론 머스크는 도덕적 비난 빋겠지만 법적으론 빠져나갈테구요.

다른건 모르겠고 이게 법적으로 트럭책임인가요?

도로에서 차가 가만히 서 있거나 누워있거나 도로에 두차선 차지하고 가로로 서 있거나 해도, 무조건 뒤에 오는 차는 정지해야 하는걸로 압니다. 뒤에서 박으면 무조건 박은 차 책임. 그래서 늘 안전거리 준수 인거죠.

제가 아는 사고가 비슷했는데 무조건 박은 차 책임이었습니다..

또 예전에 가끔 술먹고 도로에 야밤에 누워있는 사람들 있었는데요. 그걸 못 보고 쳐도 운전자 책임입니다.. 야밤에 잘 보이지도 않았는데도요.ㅡ.ㅡ

저도 누구책임일지 궁금하네요. 

근데 술먹고 도로에 왜 누워있죠? ㅋㅋ 

ㅋㅋ 일단 술을 정신 잃을 때까지 마시거나 멕이는 문화가 문제요..

제 대학때 선배는 술 떡 되시고 집에 귀가해서 이불덮고 잤는데

아침에 깨보니 트럭 밑. 트럭 아래를 집으로 착각.. ㅎㅎ

ㅎㅎ 이런 문화가 정말 이제는 머나먼 아주 머어~언 추억같네요. 

사람 하나도 안만나고 있는상태여서 더욱이요. 

글세요 저도 제 답글보니 트럭만 잘못했다라고 읽혀질수도 있을거 같아서 정정합니다. 한국에선 판례로 앞차가 안전조취 안했다면 20% 과실이 있다고한 뉴스도 봤습니다. 결국 차량 책임보단 양측 운전자 책임(20-80)으로 가겠죠. 테슬라 잘못도 있겠지만 이게 소송의 주체는 아닐듯하네요.

http://m.hani.co.kr/arti/society/society_general/863290.html#cb

테슬라가 없어서 몰겠는데, 원래 전방주시 해야 되는거 아닌가요?  오토로 가고 있어도 운전자가 보고 있어야 되는 시스템 아닌가요?  운전자가 그래도 마지막 SAFETY NET이 되어야 하는걸텐데, 안하고 딴청 피거나 쳐주무셨으면, 저래도 싸져 뭐.

근데 원래 무인주행의 근본이 운전자가 딴청 피우거나 쳐 주무시는게 목표요.

더 최종목표는 "운전자"라는 단어를 없애는 거구요.

그외 모든 다른 목표의 차들은 무인주행이나 오토파일럿 그런게 아닌거죠. 사실상은 모두 주행 안전 보조 장치로 광고하거나, 팔았어야 했죠

그런데 시잘데없이 무슨 레벨 1 2 3 4 5 이런 해괴한 개념들을 만들어서 팔아먹고 있으니.. 

늘상 이 말은 진리예요. "자동차는 두명이 운전할 수 없다".

내가 평소에 운전 하는데 혹시 내가 사고 낼것 같으면 3초 전에 당신이 운전하세요. 안 그러다 사고나면 모두 당신책임. 

이딴거에 저는 늘 반대합니다.

하지만 그 반대는 어느정도 동의합니다. 

사고날것 같으면 제가 한번 막아 볼께요. 이런거..

오토 파일럿의 무서움 한전 보고 가실게요. 실제 일어났던 사건임당. QF72

https://youtu.be/0cS1SMptlnQ

반대도 위험해요..

최근에 737 max 만 봐도, 사고날 상황아닌데 잘못판단하고 나서서 막아볼께 하다가....

결국 auto pilot 을 사용하는게 절대적으로 안전한가를 따져야 하는게 아니라 사람이 운전하는것에 비해 안전한가를 따져봐야하는거죠.....

그런면에는 꼭 visual input 만 사용한다고 해서 사람이 운전하는것보다 위험한 system 이 나온다는 결론은 아닐것 같아요.

반대는 그래도 덜 위험하죠.

자동차 오토파일럿이 더 안전하다는 결론은 제가 알기론 없습니다.

운전 안전 보조 vs 생 사람이 100% 운전에서 운전 안전 보조 차가 더 안전하다는 결과는 있죠.

이건 마치 ESC( electrical stability control) 기능이 있는 차가 응급시에 더 안전한 것과 비슷한 의미이구요.

나중에 진짜 FSD 차가 나왔을때

FSD차 2열에 사람 탑승하고 자동운전 vs 각종 안전 보조 장치 (Lane departure warning, Emergency brake) 있는 차를 사람이 운전 비교에서 어떤 차가 더 사고율이 적을까요?

저는 후자라고 봅니다.

인간의 자동차 사고율이 사실은 무시무시하게 낮아요. 근데 맨날 사고나는데? 그건 또 수억명이 계속 운전중이라서.. ㅎㅎ

네 지금은 그런데요...

인간에 운전실력은 50년 전이나, 지금이나, 50년후나, 거기서 거기겠죠.

하지만 자동차 auto pilot 은 50년전에는 존재하지도 않았으니까 50년후엔 사람보다 안전할수도 있겠다는 생각은 해볼수 있는것 같습니다.

ㅎㅎ 50년후까지 장담은 아무도 못하죠. 그런데 일단 그런거 만든 뒤에 팔아야.. 미리 앞으로 만들거라고 하면서 팔지 말고..

예를 들어 구글은 꾸준히 만들고만 있죠. 팔지는 않구요. (못하구요)

오토파일럿 믿고 딴 행동하는 운전자가 좀 많죠.

미국의 제 지인은 오토파일럿 믿고 폰하면서 가다가 옆에 휀다 거하게 긁어서 수리비 엄청 나왔었습니다.

저도 오토파일럿 신뢰하지는 않는데 이런 경우는 많은 스마트 크루즈 차들이 인식을 못합니다. 

얼마전 한국에서 벤츠가 비슷한 경우로 사고난걸 봤는데 앞에 차가 없는데 스마트 크루즈를 켜고 달렸을 때, 앞에 차나 물체가 정지해있으면 인식을 늦게하고 속도가 빠르면 정지거리를 이미 지나가서 급브레이크를 밟지만 사고가 납니다. 전방주시는 항상 하여야되지만 스마트 크루즈 기능 있으신분들도 앞에 차가 있지 않으면 꼭 전방주시를 잘 하셔야됩니다. 

말도 안되는 사고네요. 저건 비젼으로도 잡았어야 할 문제 아닌가요? 

잘은 모르지만, 저도 비전의 한계라고 보기는 좀 힘든거 같아요. 아마 게임 영상에서 저렇게 차가 누워있으면 사람은 인식할테니까요. 근데 비전으로 구현하려면 저런 상황을 인지하는 AI 가 굉장히 좋아야 할텐데, 그정도는 안되니까 그렇겠죠? 다른 센서들이 있으면 뭔가 앞에 멈춰 있다는 것은 인지하기가 용이하니까 가능성이 높을 것이구요.

2016년에도 비슷한 사고가 있었는데, 캘리포니아 날씨 좋을때 카메라로 하늘 향해서 찍거나 빠르게 촛점 움직이면 하얗게 나옵니다.

이런 카메라 특성상 문제는 하늘이 하얗게 나오는 순간에, 하얀 트럭이 있으면 장애물로 인식이 안되죠. 이럴때는 Lidar로 감지해서 emergency stop이 작동해야 하는데 Tesla는 vision만 가지고 하니까 문제가 생기게 됩니다.

두번째로 알려진 사고라 어찌 될지 모르겠지만... 운전자 전방 부주의로 끝나겠죠.

카메라만 쓰는 방식의 차는 이런 오류가 있습니다.

스바루 아이사이트도 터널 들어갈때 나올때 해질때 뜰때등 광량이 한번에 확 바뀌면 오류 일으키더라구요.

다들 보조장치 있어도 조심 하세요.

+1 Lidar를 안 써서 생긴 문제죠. TSLA가 vision sensor만 고집하는게 문제. 앞으로 방향은 vision sensor만으로 갈 수 밖에는 없겠지만요.

자율 주행의 가장 큰 문제는 운전자가 다른짓(?)을 한다는게

지난번에 운전하는데 앞의 차가 테슬라였는데

운전대 안잡고 핸드폰 게임하고 있더라구요 ;;

저런 행동이 반복되서 습관이 되겠죠

자율주행의 목적이 운전자가 다른 짓 하게 하는 건데요.

결국 자율주행이 아니었던거죠. 이름만 오토파일럿...

University of Michigan 자율 주행에서 꽤나 권위있는 연구자가 말하기를 아직 몇십년 있어야 신뢰할 수 있다고 하더군요. (Decades away)

예전에 좌회전 하는 트레일러 인식하지 못하고 들이받은것도 정확히 똑같은 문제였다고 보입니다.

당시에는 테슬라 차량이 트레일러 밑으로 통과할 수 있다고 판단해서 직진하지 않았겠는가, 이렇게 보는 시각이 있었습니다만.. 현실은 그냥 길을 막고 있는 하얀색 트레일러는 인식 불가한가보네요.

주변에서도 테슬라 많이들 타시고 혼자 운전을 해주는 auto pilot 기능이 정말 좋다고 해서 생각은 조금 하고있었는데 이런거 보면 무섭네요. 

그래도 bumper to bumper traffic 에서는 괜찮지 않나요? 

요즘은 어떤가요? 저속에서 트래픽으로 5분간 정지해 있다가 다시 가고 하는게 되나요? 

그런데 일단 이런 도심주행 다 안전하게 안될겁니다. 신호등에 정지했다가 앞차 따라서 무조건 출발하면, 잘못하면 노란불에 사거리 흔한 교차로 충돌사고 나죠.. 길거리 무단횡단도 많고..

왜 테슬라는 lidar를 안쓰고 비전에 집착하는걸까요? lidar센서가 비싸서?

그런데 lidar가 있다면 문제없이 감지 할 수 있는 문제였을까요?

저도 이렇게 생각합니다. 그냥 lidar 하나만 쓰고 fail-safe 하나만 넣었으면 충분히 회피할 수 있는 사고였다고 생각합니다.

Lidar 가 있었다면 최소한 트럭앞에서 정지했을 겁니다.

lidar 센서 자체의 가격은 많이 싸졋습니다. (물론 카메라에 비해서는 비싸지만)

다만 카메라와 lidar의 센서 특성이 너무 다르기 때문에, 

   1. 센서간의 calibration

   2. multi-sensor에서 취득되는 정보 저장 및 처리에 필요한 추가시스템

   3. multi-sensor 자료 분석에 필요한 기술 개발 

   4. multi-sensor 간의 간섭 또는 최적화, 신뢰도 문제

   5. multi-sensor에 다른 추가적인 유지보수 

등의 추가적인 자원이 필요하고, 이로 인한 비용 증가가 상당할 겁니다. 

+1 그쪽 용어로 sensor fusion이라고 하더라구요. Lidar sensor와 vision sensor의 정보를 어떻게 취합하는지가 매우 중요한 이슈가 되거든요 ㅎㅎ 

저건 그냥 시원하게 갖다 박아버리는군요. 고속도로캠에 한자가 있는 걸로 봐선 중국인가요?

아니 제 차에도 (2014 Q50) 이머전시 브레이크 기능 있어서 커브길 진입 좀 빨리 하면 삐삐거리면서 속도 줄이는데 (벽에 박는다고;;)

타이완이라고 하네요 

프리우스가 하이브리드 전용으로 나와서 성공한 것처럼, 자율주행이 제대로 되려면 모든 도로를 자율주행에 맞는 마커등을 심어서 싹다 갈아야하지 않을까요?... 신호등이나 표지판도 말이죠.. ^^

테슬라의 오토파일럿이 레벨3임에도 대부분의 운전자가 점점 느슨해져서 마치 레벨5인것처럼 잠을 자거나 딴짓을 하는게 문제이죠. 아직 레벨3이기에 이 사고는 운전자과실이기는 하지만 이러한 사고가 계속 반복되면 결국 운전자의 전방주시유무를 감시하는 센서가 강화되거나 최악의 경우 레벨5가 나올때까지 레벨3을 금지해버릴수도 있을 것 같네요. 실제로 많은 업체들이 이러한 레벨3 문제를 걱정해서 이를 건너뛰고 바로 레벨5로 가고 있기도 한데 기약이 없다보니 하나둘씩 업체상황이 나빠지고 있지요.

"레벨2"인데 "레벨3"처럼 보이도록 광고하는게 문제예요.

제 지인이 모델3 인데 스티어링 휠에 테니스공 2개를 끼워서 운전자가 항상 잡고 있는것 처럼 인식 하게 하더군요.

이건 AEB 문제가 더 심각하네요. 테슬라 AEB 작동 범위가 5mph-85mph라고 인터넷 검색이 되는데, AEB 작동안한거 보면 문제있는 차인듯... 그래서 오토파일럿도 문제. 이게 딱히 카메라 센싱의 단점을 명확히 보여준다고 보기에는 좀 무리가 있다고 봐요.

오토파일럿에서 단일 센서로만 시스템을 구성한다면 단연 camera sensing이 가장 뛰어난 사물 인식 환경을 보장해줍니다. 가성비죠. 가성비 좋아하시죠? 엘런 머스크도 그런듯... 하지만 각각의 단일 센싱이 한계를 가지고 있는 것처럼 카메라센싱도 그 한계가 존재하고, 테슬라는 그런 점을 알면서도 마켓팅을 그렇게 하는 거죠. 마치 완벽한 것 처럼.. 그래도 현존하는 상용차들 중 단일 센싱으로 오토파일럿을 이만큼이나 훌륭하게 구현하는 것은 충분히 칭찬할만 하다고 봅니다. 과연 이것이 옳은 일이냐는 뭐 누가 어떻게 보느냐에 따라 다르겠지만요. 전 꼭 틀리지만은 안다고 보구요.

복합센싱은 엔지니어링 적으로 각각의 센싱에서 나오는 정보를 규합하고 해석하는데 꽤나 복잡하고 어려움이 있어서 많은 스타트업이 뛰어니는 사업이죠. 구현이 잘 된다고 해도 가격적인 문제가 발생할 수 도 있고, 또 매번 나올 수 밖에 없는 얘기지만 사고가 났을때 과연 사고의 주체가 누구인가 하는 문제도 남아있죠.

이러한 사고에는 항상 복합적인 요인이 작용하지만, 비젼시스템에대해서만 제가 아는 선에서 생각하자면, 

'움직이지' 않는 '흰색' 트럭이라는 특수한 조건이 테슬라 오토파일럿 시스템이 가지고 있는 몇 안되는 '틈'을 파고들어 발생한 사고입니다. 

이러한 부분은 테슬라의 개발자들이 아직 개발 중이거나, AI 기반으로 한다는데 아직 트래이닝이 안되었거나 (특수한 조건이라하면 컴퓨터가 학습할만한 자료를 구축하기 힘들다고 보시면 됩니다.), 아니면 너무 특수한 조건이라 시스템에 구현이 안되어 있거나 할겁니다 (고의든 아니든). 

제가 이전 @포트드소토 님 글에 댓글로 적었지만, 

카메라 기반의 비젼 시스템을 채택하고 있는 테슬라는 이러한 문제를 당분간은 안고 갈 겁니다. 

오토파일럿의 첫번째 단계는 기본적으로 카메라 몇대로 동시에 사진을 찍어서 주변 지형 및 오브젝트의 3차원 모델/지도 (컬러 정보 및 depth 정보 포함) 을 만드는 겁니다. 

이러한 지도를 매번 카메라가 사진을 찍을 때마다 만들고, 이를 이전 지도들과 비교해서 차이점을 분석하는 거죠.

이 과정에서 배경, 자동차, 장애물, 차선 등 운전에 필요한 객체들을 구분하고, 이를 tracking하고, 변화 패턴을 분석해서 정보화 시키는 겁니다. 

다음 단계는 이러한 정보를 사용하여 자동차를 컨트롤 하는거죠.

카메라 센서와 컴퓨팅 파워가 발전해서 이게 실시간으로 가능해 졌기에, 많은 회사들이 자율주행 개발에 뛰어들고 있습니다. 

사람의 시각체계는 양쪽 눈으로 들어오는 시각 정보 1쌍 (왼쪽과 오른쪽)을 가지고 뇌에서 3차원 정보를 생성합니다.

가까이 놓여있는 물체를 왼쪽눈과 오른쪽눈 한쪽으로만 보면 위치가 다르게 보이는걸 느끼실텐데, 이걸 시차(prallax) 라고 부릅니다. 

예를 들어 멀리있는 산이나 배경으로 생각되는 객체들은 이 시차가 0에 가깝습니다. 

하지만 가까이 있는 물체들은 시차가 크게 발생하는데 이를 기반으로 얼마나 내 눈에서 가까이 있는지 계산할 수 있습니다. 

사람의 뇌는 실시간으로 이런 분석을 하고, 시각정보도 거의 연속적으로 받아들이기 때문에 걷는다던가 운전이 가능한 겁니다. 

카메라 비젼 시스템도 동일한 원리로 왼쪽 사진과 오른쪽 사진에서 '동일한 물체'의 위치의 차이를 통해 3차원 지도를 생성합니다. 

여기에는 사진에서 객체를 탐지하고, 이 객체를 여러 사진에서 각각 찾아내서, 위치 (시차)를 계산하고, 이를 지속적으로 추척하고, 움직임을 분석하는 등의 일이 모두 포함됩니다. 

하지만 카메라와 컴퓨터는 아직 사람의 눈과 뇌를 대체하기는 부족합니다. (멀리있는걸 볼 수는 있지만 그건 그냥 물리적인 렌즈가 좋은 거라고 보시면 됩니다.)

특히 표면이 균일한 물체 (homogeneous)은 카메라를 통해 3차원 모델을 만들기 굉장히 어렵습니다. 

사람도 완전히 하얗게 칠해진 벽만있고, 그림자도 없는 방에 들어가면 벽이 어디 있는지 못찾습니다. 

특희 흰색을 카메라에서 찍은 영상을 처리할때 많은 문제를 일으킵니다. 

사진을 찍을때 조건, 카메라 세팅 등의 이유로 하얀색으로 영상에 나타나면, 아무리 여러대의 카메라로 영상을 찍어도, 시차를 계산할 수 없습니다. 

이러한 한계점에 '움직이지 않는 일정 크기 이상의 물체' 라는 조건이 더해져서 오토파일럿이 오작동한 것으로 생각됩니다. 

당연히 저 트럭은 상당히 멀리서부터 테슬라의 비젼시스템에서 취득한 영상에 찍혀있을 겁니다. 

문제는 '흰색'의로된 트럭이 '움직이지 않았'기에, 트럭이 있는 부분의 3차원 모델이 제대로 만들어지지 못했을 겁니다.

거기다에 트럭의 사이즈가 크기 때문에, 또 움직이지 않아서 이를 어느 순간 배경으로 인식했을 가능성도 높습니다. 

(영상에서 속도를 제대로 줄이지 않은걸 보면 그냥 depth 를 계산하지 못해서, 트럭 부분의 depth map이 구멍이 나있을 가능성이 큽니다)

개발팀에서 카메라 기반 비젼 시스템의 한계를 모를리 없다고 생각합니다. 

이번 사고도 아마 가능한 시나리오 안에 있는 조건일 겁니다. 

다만, 실제 사고로 이어지려면 여러 '조건'과 '우연'이 겹쳐야 발생하는 확률이 정말 낮은 것으로 판단했을 가능성이 높습니다. 

사족으로 제 개인적인 견해를 덧붙이자면, 

사실 엔지니어가 뭔가 개발할때 모든 케이스를 100% 커버하는 방법을 만드는 것은 불가능합니다. 

하지만, 단 0.1% 아니 0.01% 결함 가능성이 있고, 이 특수한 조건이 발동 되었을때 사람이 생명에 직결되는 기술이라면, 

보다 조심스럽게 접근해야한다고 생각합니다. 

물론 너무 보수적인 접근이 획기적인 기술 개발이나 인류의 편의 증대에 방해가 될 수도 있지만, 

엘론 머스크의 마켓팅은 좀 과한 느낌이 있습니다. 

일반 대중들이 보고 싶어하는 긍정적인 면을 부각시키는 방식도 좋고, 부정적인 면은 다른 걸로 덮는 것도 뭐 그럴 수 있지만, 

최소한 부정적인 측면에 대한 검토 및 보완에 대해서는 개발하고 공급하는 테슬라가 더 고민해야할 문제라 생각합니다. 

Insight 있는 설명 감사드립니다!

제가 무인차 개발 때는 카메라 센서의 가장 큰 문제는 늘 광원이었습니다. 다른말로 날씨요. 역광이거나 뭔가 contrast 차가 갑자기 많이 생기면 (터널 안 vs 밖) 카메라 센서의 dynamic range 한계로 기본 입력인 영상이 엉망이니까요. 게다가 비오는 날도 힘들죠. 카메라는 차 안에 있고, 열심히 와이퍼가 닦아도 시야가 나쁘니..
그래서, 그 옛날에도 늘 도로 상황 인식에는 Hybrid 센서를 썻습니다.  카메라 + 레이저 or 카메라 + IR 카메라 or 카메라 + 레이더 등등... 
단순하게 CCD 카메라 하나로 (저렴하게) 하겠다는건 만용이죠.  그런데, 테슬라 차도 전방에 카메라 + 레이져 아니었던가요? 초음파 센서는 이런데 의미없구요.. 

진짜 FSD 이 되려면 비오는 날이건 눈오는 날이건, 야간이건 다 되야 하는데, 카메라 하나로는 무리~~ 무리~~

날씨 좋은 캘리 벗어나서는 얼마나 될지 궁금하네요..

아무래도 렌즈로 들어오는 광원의 세기를 저장하는 방식인 카메라라는 하드웨어에 존재하는 한계점이죠. 

저도 정확한 스펙은 모르지만, 테슬라는 전방에 카메라 + 레이더 (radar) 를 쓰는 걸로 알고있습니다. 

레이더는 파장의 길이가 긴 신호를 쓰는데, 이 경우 간섭등의 이유로 측정할 수 있는 거리가 짧고, 정확도가 많이 떨어집니다. 

자동차 주변 (측면 또는 후방) 가까운 지역은 레이더를 사용하여 주변 사물과의 거리를 측정하고 이를 이미 사용 중입니다. 

(자동차 후진 시  디스플레이에 표시되는 빨강/노랑/초록 존, 또는 측면 충돌 경고 기능 등)

하지만 영상에서 보이는 속도로 오다가 레이더 센서로 트럭의 존재를 알아 차릴 정도로 가까워 졌을 때는 이미 늦었을 거라 생각합니다. 

모두들 고정된 흰색 트럭에만 집중해서 말하는데,, (비디오를 보신것인지?)

그  30미터 앞에서 손을 흔들어 가며 그리고 최종적으로 좌우로 움직이는 아저씨                    도 있어요. 제대로된 자율주행이라면 이 아저씨 앞에서 멈추었어야지요.

그 아저씨는 흰색이고 태양에 가리고 이런 변명의 여지가 전혀 없네요. 

ㅎㅎㅎ 

테슬라 모델3가 이미 보행자에 제대로 못 서는건 AAA 가 이미 증명했어요.. 아래 테스트 결과 보세요..

https://www.youtube.com/watch?v=eEnklD0Vs4A

ps. 자세한 결과를 보시면 캠리와 어코드는 짱..  테슬라와 말리부는 다 실패요.. ㅋㅋ

여기 48 페이지 리포트요.. --> https://www.aaa.com/AAA/common/aar/files/Research-Report-Pedestrian-Detection.pdf

그분의 도로 침범이 생각보다 미미해요. 여러 차량들의 AEB 테스트 영상 보시면 도로 침범이 어느정도 있지 않으면 작동안하거든요. 기분이 도로 침범을 훨씬 많이 했었어야 AEB가 사람 인식해서 멈췄을거예요. 

우선 테슬라는 partial automation 인 레벨2에요. 광고를 레벨3처럼 해서 그렇지.

1. 테슬라가 트럭이나 손흔드는 사람을 제대로 인식하지 못하고 충돌했다. 이건 명백한 기술적 결함입니다. 다른 종류의 센서를 더하든지, 아니면 더 똑똑한 알고리즘을 개발/채용해서 해결해야지요. 앞으로 더 나아가려면요.

2. 하지만 사고는 테슬라 운전자의 책임입니다. 테슬라가 레벨3처럼 오해할 수 있는 Full Self Driving (FSD) 라는 용어를 써서 광고를 하지만, 운전자가 항상 주변을 모니터링 해야 한다는 조건이 자동차 매뉴얼 등 여러 곳에 나와 있고, 보다 중요한 것은 FSD 기능을 활성화 시킬 때 차내경고창으로 이 조건이 뜨고 운전자가 동의를 해야 FSD 기능이 engaged됩니다. 이는 명백한 레벨2에 적용되는 상황입니다. 운전자가 이에 동의를 한 후에 주변 모니터링을 하지 않았다면, 사고의 귀책사유는 명백히 운전자에게 있습니다.

맞아요.. 그러니까.. 제발 그런 과장 광고에 법적인 제재가 들어갔으면 합니다.. 

다른 제품도 아니고 안전 직결 제품이니까요..

"Auto" pilot

"FULL" "SELF" driving

이게 뭡니까? ㅋㅋ

자 이쯤에서 shameless plug... 제가 쓴 자율주행 시리즈 중 3편, 그 중에서도 1. Radar 항목을 보시면 이런 사고가 왜 발생하는지에 대해서 공학적인 설명이 돼있습니다.

https://www.milemoa.com/bbs/board/6470284

(더불어 좀 더 스크롤을 내려보시면 제가 그 글을 쓸 당시 테슬라에 어떤 센서들이 장착돼있었는지 설명도 돼있습니다.)

링크를 따라 가보시면..

" 장거리 radar들은 이 정보를 이용하여 정지해 있는 물체들은 무시하게 설계합니다. 그렇지 않으면 예를 들어 저 앞에 있는 신호등이나 도로 표지판, 아니면 noise를 차량으로 오해하고 매번 속도를 줄여서 더 위험하게 될테니까요. "

이렇게 잘 설명해 놓으셨네요. 자율주행 기술에 대한 좋은 글입니다.

죄송합니다. 펑하겠습니다.

이건 오류가 한두개가 아니지만 30m 앞의 경고하는 사람은 어떻게 설명되나요?

하이웨이에 사람이 서서 팔을 휘두르고 있는데 이런 경우면 이미 멀리서부터 속도를 줄였어야 하는 것 아닌가요 

고속도로에서 사고가 나서 사람이 나와있는 상황은 극단적인 edge case도 아닐텐데요 테스트 하기 어려운 것도 아니고 

죄송합니다. 예정대로 펑하겠습니다.

마술사들 트릭 같은 부분이 있고 다른 분들께서 생각하시는 것들이 대부분 맞다고 커멘트 남기면서 펑하겠습니다.

자세한 답변 감사드립니다.

perception은 어느 정도 되었을거라고 보지만 그걸 바탕으로 한 planning에 큰 문제가 있다는 말씀이시군요.

이쯤에서 극적인 반전, 사실 auto-pilot off 였음... ㅋㅋㅋ

아니면 AI가 이미 사람 친걸로 판단하고 뺑소니 mode on 해서 달아나려다?... ㅋㅋㅋ

제가 그 영상보기에는 손흔든 그 사람의 도로침범이 미미합니다. 그런 미미한 도로침범에는 반응하지 않을거에여.

그래서 가능성 높은 것은 사람의 도로침범 미미로 AEB 미작동 판단후 바로 등장한 장애물에 판단이 늦었거나 오류가 나왔을 가능성이 있습니다.

죄송합니다. 예정대로 펑하겠습니다. 제 위와 아래 댓글 달아 주신 분들 의견이 맞습니다. 

가끔 현업에 있으면서 이렇게 달리는 글들을 보면 전공자 분들도 아닌거 같은데 정확히 지적하셔서 깜짝깜짝 놀랄때가 많습니다.

나중에 기회가 되면 대략적인 플로우를 설명드리겠습니다.

네. 맞아요. 그리고 영상을 보면 손흔드는 사람 옆을 지나칠때 급제동사 발생하는 타이어 연기가 잠깐 발생했던 걸로 보입니다. (제 상상일수도;;) 어쩌면 제동이 들어가고 in path 미미 판단으로 제동이 풀리고 다시 장애물 등장으로 엉킨걸지도... 암튼 이런 복잡한 상황까지 다 커버하려니 automated driving은 정말 요원한건 아닐런지...

주관적인것이긴 하지만 제 눈에는 이 트럭 운전사분이 사고를 일으킨후 그나마 후속 사고를 막기위해 최선을 다한것을 보이는데요. 

길의 양쪽 가이드 (점선과 실선)의 약 20%정도는 안에 들어와 있는것으로 보이는데요. 무엇 보다 확실한것은 차도 안에는 확실히 들어 와 있습니다.

이런 상황에서 서지 않은것이 1차적인 오류라고 보여집니다. 

이런 것 볼때마다 사실 제일 두려운것이 테슬라 같은 차들이 주차장이나 이런곳에서도 사람 칠까봐 제일 겁다더군요.

사람의 의도에 대한 해석이 가장 어려운 분야 중 하나래요. 가령 횡단보도에 똑같은 포즈로 서있는 사람 둘을, 사람의 눈으로 보면 차를 세우려는 건지, 그냥 건너가려는 건지 구분이 가능하지만 그걸 기계가 하기에는 뚜렷한 한계점이 있데요. 위 사고의 경우에는 그 위치에 사람이 서 있다는 자체가 아주 abnormal한 경우였을테고, 거기다가 그 사람이 손을 흔드는 의도가 (저희가 보기에는 명확하지만) 기계가 이해하기에는 어려웠을 거라고 보입니다.

Lidar에 대한 논쟁때문에 놓친 테슬라의 레이다에 대한 설명에 감사드립니다. 자동주행에서 가장 중요한 기능은 전방충돌방지일텐데 전용의 센서가 당연히 있어야 하는데 아닌가 생각했었거든요. 암튼 170m 범위의 레이더가있음에도 이런 사고가 난건 결국 비젼의 한계가 아니라 판단하는 로직부분에 문제가 있다고 봐야겠네요. 역시 생명과 안전이 걸린 부분에서 early adapter가 되는건 피해야겠다는 결론이네요.

우선 위에 어느 분이 댓글을 남겨 주셨듯이 레이더로 물체를 인식하는 것 자체는 쉽지만 이게 false positive 인지 판단하는 것은 쉽지 않습니다. 특히 속도가 없는 물체인 경우에는 더욱이요. 불 확실 하니까 고속도로 주행중에 속도가 0인 물체를 만나면 레이더는 컨피던스 레벨을 확 낮춘 정보를 상황판단 로직에 넘깁니다. 

영상처리 알고리즘도 마찬가지 입니다. 뭔가 앞에 물체가 있다는 것과 딥러닝 인식 결과와 별개로 앞에 충돌이 임박한 물체가 있다는 것을 찾아 냈겠지만. 이게 늘 보던 자동차 후면이랑 다르다는 것도 알아냈습니다. (이 경우 물체의 클래스 별개로, 거리 계산과 별개로 충돌 임박 시점은 매우 정확하게 계산 할 수 있습니다.) 그럴 경우 마찬가지로 비전 알고이즘은 컨피던스 레벨이 낮은 정보를 상황 판단 로직에 남깁니다.

이 들의 종합 결과 내린 디씨전은 명확해 보이고요. 최종 판단이란 것도 기본적으로 얼마나 센서 perception로직을 신뢰할 것이냐의 문제랑 닿아 있습니다.

사실 상황 판단도 넓게 보면 인식의 한 부분이라고 말씀하시는 분들도 많습니다. 상황의 인식이라고 표현하기도 하고요. 딥 러닝의 등장으로 물체까지의 pose을 판단하는 것은 혁명에 가까울 발전이 있었지만, 그 뒤에 어떻게 할 것인지네 괌한 상황인식은 대부분(제가 아는 한도에서 양산차 전부) 룰 베이스에 의존하고 있습니다. 물론 상황 인식 자체를 딥러닝으로 해결하자, 더 나아가 센싱부터 인식 플래닝 제어 전과정을 end to end 딥러닝으로 해 보자는 컨셉들이 연구 수준이 활발하지만 아직 massice production과는 한참 거리가 있고요.

따라서 어떨게 보면 답은 매우 간단합니다. 우리가 생각하는 braking을 위한 if condition 안에 저런 상황이 있는 것인가. rule에 저런 상황을 담을 것인가 관점에서 보시면 될 것 같습니다.

업계 종사자들은 전통적으로 최대한 아무것도 안하는데 더 많은 우선 순위를 주고 있고요.

엘런 머스크는 전통적인 이 업계 사람이 아니라서 저걸 풀스택 오토 파일럿이라고 소비자들이 혼란을 느낄 수도 있게 광고 하고 있고요....

Again, 사람이 앞에 있었다는것에 저 상황이 된다는것을 설명하지는 못하네요.

복붙합니다. 원래 테슬라 AEB 가 잘 작동못한다네요.

테슬라 모델3가 이미 보행자에 제대로 못 서는건 AAA 가 이미 증명했어요.. 아래 테스트 결과 보세요..

https://www.youtube.com/watch?v=eEnklD0Vs4A

ps. 자세한 결과를 보시면 캠리와 어코드는 짱..  테슬라와 말리부는 다 실패요.. ㅋㅋ

여기 48 페이지 리포트요.. --> https://www.aaa.com/AAA/common/aar/files/Research-Report-Pedestrian-Detection.pdf

한국에서 Mercedes-Benz도 똑같이 Auto pilot상태에서 정지된 차를 박았습니다. MB도 vision+radar로 전방 센싱합니다.

 조사결과 알고 보니 50 km/hr 이상으로 주행중에는 정지된 물체를 ignore하도록 세팅되어 있었다고 합니다.

대만에서 사고는 이것과는 좀 다른데 왜 보행자를 무시했는지?