L'IA intérieure du robotaxi Waymo repère un fusil d'assaut imprimé en 3 D, arrête le véhicule et conduit à l'arrestation d'adolescents à San Francisco

Le 3 septembre 2024 vers 04 h, un robotaxi Waymo circulant à San Francisco a détecté un fusil d'assaut imprimé en 3 D chargé à l'intérieur du véhicule et a arrêté la voiture sur le bas-côté. Le système de caméras intérieures, que Waymo utilise pour la surveillance de conformité, a signalé l'arme à feu comme une violation de ses conditions d'utilisation, a automatiquement averti la police et les deux passagers adolescents ont été arrêtés peu après.^heise

Chronologie de l'incident et faits

Les caméras intérieures pilotées par l'IA du véhicule ont identifié l'arme, l'ont classée comme un fusil d'assaut illégal « ghost » – une arme fabriquée avec une imprimante 3 D et dépourvue de numéro de série – et ont déclenché le protocole de sécurité du robotaxi. La voiture s'est rangée sur le bas-côté, et un officier de police a effectué un contrôle de circulation décrit par le Service de police de San Francisco comme un « contrôle de trafic à haut risque ». ^heise Les agents ont saisi le fusil chargé, ainsi que de la marijuana et du spray au poivre découverts lors de la fouille.^heise Les deux passagers, identifiés dans le rapport comme un adolescent de sexe masculin et une adolescente de sexe féminin, ont été placés en garde à vue.

Système de surveillance intérieure de Waymo

Les robotaxis Waymo sont équipés de caméras intérieures qui remplissent deux fonctions : la sécurité des passagers et le respect des politiques d'utilisation de l'entreprise. Le système exécute des modèles d'IA capables de reconnaître les objets interdits, y compris les armes à feu, en temps réel. Lorsqu'une violation est détectée, le véhicule est programmé pour s'arrêter et alerter les autorités.^heise Dans ce cas, l'IA a correctement identifié un fusil d'assaut imprimé en 3 D – une catégorie d'arme que le gouvernement américain cible depuis 2022 parce qu'elle ne peut pas être tracée via des numéros de série.^heise

Waymo a confirmé que l'arrêt était dû à une « violation de nos conditions d'utilisation impliquant une arme à feu » et que l'IA des caméras intérieures était le déclencheur de l'alerte.^heise L'entreprise a déjà déclaré que la surveillance intérieure vise à protéger les passagers, le personnel et le public, mais elle n'a pas divulgué de métriques détaillées de performance pour le modèle de détection d'armes.

Implications pour la sécurité, la réglementation et la vie privée

L'incident montre le potentiel pratique de la sécurité offert par la surveillance activée par l'IA dans les flottes autonomes. En détectant automatiquement un objet dangereux et en impliquant les forces de l'ordre, le système de Waymo peut prévenir des incidents qui dépendraient autrement de l'observation humaine. Pour les régulateurs, ce cas fournit un point de données concret alors qu'ils envisagent les exigences de surveillance embarquée dans les véhicules sans conducteur.

En même temps, l'utilisation de caméras intérieures soulève des préoccupations en matière de vie privée. Les caméras enregistrent en continu l'habitacle des passagers, et l'IA analyse les données visuelles en temps réel. Bien que la politique de Waymo indique que les enregistrements ne sont conservés que pour les enquêtes de sécurité, l'incident montre que la technologie peut être utilisée pour faire respecter la conformité légale au-delà de la sécurité routière. L'équilibre entre sécurité publique et vie privée des passagers devrait devenir un point central des futures discussions politiques.

La flotte de Waymo s'étend rapidement – l'entreprise a récemment lancé des services à Las Vegas et a annoncé son intention de commencer les opérations à Munich en 2027.^Wikidata La société emploie environ 2 500 personnes et a son siège à Mountain View, Californie.^Wikidata À mesure que la flotte grandit, la fréquence des alertes des caméras intérieures pourrait augmenter, entraînant à la fois des ajustements opérationnels et un examen réglementaire.

Ce qui reste inconnu, c'est le taux de faux positifs du modèle de détection d'armes et la fréquence à laquelle les caméras intérieures signalent des objets non menaçants. Waymo n'a pas publié de statistiques sur le nombre d'alertes générées depuis le déploiement du système, ni sur la proportion aboutissant à une intervention policière. Les déclarations publiques de l'entreprise confirment que la technologie fonctionne dans ce cas, mais des données supplémentaires seraient nécessaires pour évaluer sa fiabilité globale et son impact sur l'expérience des passagers.

Pour l'instant, l'incident de San Francisco constitue un exemple rare et vérifié d'un système d'IA de véhicule autonome intervenant dans une possible violation liée à une arme à feu. Il souligne le double rôle de cette technologie – améliorer la sécurité tout en introduisant de nouvelles dimensions dans le débat sur la surveillance des systèmes d'IA destinés au public.