Ένα νέο περιστατικό με το Tesla Full Self-Driving φέρνει ξανά στο προσκήνιο το ερώτημα για το πόσο ρεαλιστικό είναι να ζητείται από τον οδηγό να επιβλέπει συνεχώς ένα σύστημα που λειτουργεί σχεδόν μόνο του. Το θέμα παίρνει μεγαλύτερη διάσταση επειδή ο οδηγός δεν ήταν ένας απλός χρήστης, αλλά ο πρώην επικεφαλής της μονάδας αυτόνομης οδήγησης της Uber.
Το ατύχημα με το Tesla Model X
Ο Raffi Krikorian, CTO της Mozilla και πρώην επικεφαλής του τμήματος αυτόνομων οχημάτων της Uber, κατέστρεψε το Tesla Model X που οδηγούσε ενώ το όχημα βρισκόταν σε λειτουργία Full Self-Driving σε κατοικημένη περιοχή. Στο πίσω κάθισμα βρίσκονταν και τα παιδιά του, τα οποία δεν τραυματίστηκαν, ενώ ο ίδιος υπέστη διάσειση, αυχενική δυσκαμψία και πονοκεφάλους για ημέρες.
Σύμφωνα με την περιγραφή του περιστατικού, το όχημα εκτελούσε μια διαδρομή που ο Krikorian είχε κάνει εκατοντάδες φορές. Κατά την είσοδο σε στροφή, το FSD φάνηκε να χάνει τον προσανατολισμό του, με το τιμόνι να κινείται απότομα και το αυτοκίνητο να επιβραδύνει χωρίς προειδοποίηση. Ο οδηγός προσπάθησε να ανακτήσει τον έλεγχο, αλλά δεν πρόλαβε να αποτρέψει τη σύγκρουση με τοιχίο από σκυρόδεμα.
Γιατί έχει ιδιαίτερη σημασία ποιος ήταν πίσω από το τιμόνι
Η υπόθεση αποκτά βαρύτητα επειδή ο Krikorian είχε διευθύνει στην Uber ομάδα ανάπτυξης αυτόνομων οχημάτων και είχε εκπαιδεύσει οδηγούς ασφαλείας για το πότε και πώς πρέπει να παρεμβαίνουν όταν ένα σύστημα αποτυγχάνει. Το Electrek υπογραμμίζει ότι, παρά αυτή την εμπειρία, και ο ίδιος κατέληξε να εμπιστευτεί το σύστημα σε βαθμό που η έγκαιρη αντίδραση έγινε εξαιρετικά δύσκολη.
Ο ίδιος αναφέρει ότι ξεκίνησε να χρησιμοποιεί το FSD σε αυτοκινητοδρόμους, όπου οι λωρίδες και η κυκλοφορία είναι πιο προβλέψιμες, και στη συνέχεια το πέρασε και σε τοπικούς δρόμους, επειδή λειτουργούσε αρκετά καλά. Με τον χρόνο, αυτή η χρήση έγινε συνήθεια. Ακόμη και λίγο πριν από το ατύχημα, είχε τα χέρια του στο τιμόνι και έκανε αυτό που ζητά η Tesla: να παρακολουθεί, όχι να κατευθύνει ενεργά το όχημα. Όπως σημειώνει, όμως, το ίδιο το σύστημα τον είχε εκπαιδεύσει να το εμπιστεύεται.
Το βασικό πρόβλημα της «επιβλεπόμενης» αυτόνομης οδήγησης
Η ουσία της κριτικής δεν αφορά μόνο το συγκεκριμένο ατύχημα, αλλά το ίδιο το μοντέλο λειτουργίας του Tesla FSD ως συστήματος επιπέδου 2. Με βάση το ισχύον νομικό πλαίσιο, η ευθύνη παραμένει πάντοτε στον οδηγό, ακόμη και όταν το αυτοκίνητο εκτελεί σχεδόν όλη την οδήγηση. Μετά τη σύγκρουση, όπως επισημαίνεται, στην ασφαλιστική αναφορά εμφανίστηκε το όνομα του οδηγού και όχι της Tesla.
Το επιχείρημα του Krikorian είναι ότι η συνεχής ανθρώπινη επίβλεψη ενός συστήματος που λειτουργεί σχεδόν άψογα είναι στην πράξη προβληματική. Ένα ασταθές σύστημα κρατά τον άνθρωπο σε εγρήγορση, ένα πλήρως αυτόνομο δεν χρειάζεται επίβλεψη, αλλά ένα σύστημα που λειτουργεί σωστά τις περισσότερες φορές δημιουργεί την παγίδα της υπερβολικής εμπιστοσύνης. Έτσι, ο οδηγός χαλαρώνει ακριβώς επειδή το σύστημα φαίνεται αξιόπιστο.
Η ανθρώπινη προσοχή δεν λειτουργεί όπως απαιτεί το FSD
Στο κείμενο γίνεται αναφορά στο φαινόμενο που οι ψυχολόγοι αποκαλούν “vigilance decrement”. Η παρακολούθηση ενός σχεδόν τέλειου συστήματος γίνεται μονότονη, η προσοχή μειώνεται και ο νους αποσπάται. Σύμφωνα με όσα παρατίθενται, ένας οδηγός χρειάζεται περίπου 5 έως 8 δευτερόλεπτα για να επανέλθει νοητικά όταν ένα αυτοματοποιημένο σύστημα του επιστρέψει τον έλεγχο, ενώ πολλά κρίσιμα συμβάντα εξελίσσονται σε ακόμη μικρότερο χρόνο.
Στην ίδια ανάλυση αναφέρεται και μελέτη του Insurance Institute for Highway Safety, σύμφωνα με την οποία μετά από μόλις έναν μήνα χρήσης adaptive cruise control οι οδηγοί είχαν πάνω από εξαπλάσια πιθανότητα να κοιτάζουν το κινητό τους. Με άλλα λόγια, ακόμη και όταν μια εταιρεία προειδοποιεί να μην υπάρξει εφησυχασμός, η ίδια η ομαλή λειτουργία του συστήματος ενθαρρύνει αυτή τη συμπεριφορά.
Τα παραδείγματα που δείχνουν πόσο μικρό είναι το περιθώριο αντίδρασης
Για να εξηγήσει το πρόβλημα, ο Krikorian παραπέμπει και σε δύο γνωστές υποθέσεις. Στο δυστύχημα του 2018 στο Mountain View, όπου έχασε τη ζωή του ο μηχανικός της Apple Walter Huang, ο οδηγός είχε έξι δευτερόλεπτα πριν το Tesla κινηθεί προς διαχωριστικό από μπετόν. Στο θανατηφόρο δυστύχημα της Uber στην Tempe της Αριζόνα το 2018, οι αισθητήρες είχαν εντοπίσει πεζό 5,6 δευτερόλεπτα πριν από τη σύγκρουση, αλλά ο οδηγός ασφαλείας σήκωσε το βλέμμα του όταν απέμενε λιγότερο από ένα δευτερόλεπτο.
Στη δική του περίπτωση, ο Krikorian πράγματι αντέδρασε και γύρισε το τιμόνι. Το ζήτημα, όπως περιγράφεται, είναι ότι κλήθηκε να μεταβεί από ρόλο επιβάτη σε ρόλο οδηγού μέσα σε κλάσμα δευτερολέπτου, ύστερα από μήνες εξοικείωσης με ένα σύστημα που τον είχε μάθει να το εμπιστεύεται.
Το ζήτημα της ευθύνης και των δεδομένων
Το δημοσίευμα στέκεται και στον τρόπο με τον οποίο η Tesla χειρίζεται τα δεδομένα μετά από ατυχήματα. Αναφέρεται ότι το αυτοκίνητο καταγράφει διαρκώς τη θέση των χεριών του οδηγού, τον χρόνο αντίδρασης και την παρακολούθηση του βλέμματος, ενώ η εταιρεία έχει χρησιμοποιήσει τέτοια στοιχεία μετά από συγκρούσεις για να μεταθέσει την ευθύνη στον οδηγό. Την ίδια στιγμή, οδηγοί που έχουν ζητήσει πρόσβαση στα δικά τους δεδομένα λέγεται ότι έλαβαν μόνο αποσπασματικές πληροφορίες.
Ιδιαίτερη μνεία γίνεται και στην υπόθεση wrongful-death στη Φλόριντα, η οποία οδήγησε σε ετυμηγορία 243 εκατ. δολαρίων. Εκεί, σύμφωνα με το άρθρο, οι ενάγοντες χρειάστηκε να προσλάβουν χάκερ για να ανακτήσουν κρίσιμα δεδομένα από το chip του οχήματος, καθώς η Tesla είχε υποστηρίξει ότι τα στοιχεία δεν μπορούσαν να εντοπιστούν.
Η άποψή μας στο Techblog
Η συγκεκριμένη υπόθεση δεν ξεχωρίζει μόνο λόγω του ατυχήματος, αλλά επειδή αναδεικνύει με καθαρό τρόπο το κεντρικό πρόβλημα των σημερινών συστημάτων υποβοηθούμενης οδήγησης: ζητούν από τον άνθρωπο να παραμένει διαρκώς έτοιμος για παρέμβαση, ενώ η ίδια η εμπειρία χρήσης τον ωθεί να χαλαρώνει. Όσο τέτοιες πλατφόρμες γίνονται πιο ικανές, τόσο πιο κρίσιμο γίνεται το ερώτημα αν το υπάρχον μοντέλο ευθύνης και επίβλεψης μπορεί να σταθεί στην πράξη.
