Het komt nu aan op transparantie bij de AI in Tesla's Autopilot

De aanleiding van het onderzoek vormen 12 ongelukken waarbij een Tesla, met de Autopilot-software geactiveerd, inreed op voertuigen van hulpdiensten die langs de kant van de weg stonden geparkeerd. Bij die ongevallen raakten in totaal 17 mensen gewond en was een dode te betreuren.

De National Highway Traffic Safety Administration (NHTSA) heeft in een 11 pagina tellende brief Tesla om gedetailleerde informatie gevraagd, meldt Associated Press. De vragen daarin gaan over de manier waarop het Autopilotsysteem de voertuigen van hulpverleners herkent en daarop reageert. Blijft Tesla op de gestelde deadline van 22 oktober in gebreke, dan volgt een boete van 114 miljoen dollar.

Storen flitsende lichten?

De indruk bestaat dat de veelal op machine learning gebaseerde software niet goed overweg kan met zwaailichten en de grote hoeveelheid reflecterende strepen op brandweerauto's, politievoertuigen en ambulances.
De toezichthouder heeft ook vragen gesteld over het reageren van de algoritmen in situaties met weinig licht en hoe de software dan ongelukken herkent. Verder wil de NHTSA meer informatie van Tesla hoe het systeem in de gaten houdt of de bestuurder wel oplet en waarschuwingen afgeeft als dat niet het geval is.

Bovendien blijkt de toezichthouder niet gerust op de zorgvuldigheid waarmee updates van het Autopilot-systeem worden getest voordat deze onder de voertuigen van klanten worden gedistribueerd. Volgens de wet moet elke verandering eerst in een minimum aantal testritten zijn gevalideerd.