AI-systeem kan zichzelf leren liegen

Het machinelearningsysteem is ontworpen om sneller satellietfoto's om te zetten in de kaarten voor Google Maps. Na de eerste intensieve trainingsrondes bleek het systeem veel beter te werken dan gedacht. Het team controleerde het systeem steeds door het ook de bewerking in de omgekeerde volgorde te laten uitvoeren, dus door satellietfoto's te laten reconstrueren uit de kaarten die het systeem zelf had gemaakt. Daaruit bleek dat de gereconstrueerde foto's details bevatten die niet op de kaarten te zien waren. Bij nadere controle-experimenten bleek dat het systeem bij de reconstructie details kon terugzetten in foto's waar ze helemaal nooit op te zien waren.

Het artikel (pdf) waarin de bijzondere vinding werd gepresenteerd, stamt al uit de Information Processing Systems conference in 2017. TechCrunch haalde het verhaal op naar aanleiding van een post op Twitter.

Het bleek dat het algoritme zo getraind dat het details uit de satellietfoto als heel subtiele, voor het menselijk oog nauwelijks waarneembare elementjes verwerkte in de kaarten die het van satellietfoto's maakte. Door deze informatie te abstraheren en over een andere kaart te leggen, bleek het systeem een satellietfoto te reconstrueren die niets met de originele kaart te maken had.

Op de foto zijn links de originele kaarten te zien (Y0), rechts daarvan de kaarten waarop in beide gevallen de gecodeerde satellietinformatie van de bovenste foto is geprojecteerd (Y*). Op de derde van links is te zien wat het verschil is tussen de twee (Y*-Y0) en op de rechter afbeelding zijn de door het systeem gereconstrueerde satellietfoto's te zien. De onderste satellietfoto is op basis van de verborgen informatie in kaart Y* identiek aan de bovenste satellietfoto.

Het verbergen van informatie in afbeeldingen bestaat al langer en staat bekend onder de term 'steganorafie'. Het is echter voor het eerst dat is aangetoond dat een machinelearningsysteem zijn eigen steganografie heeft gecreëerd. Het systeem bleek niet slim genoeg om vanuit zijn eigen kaarten een satellietfoto te creëren, maar leidde de mens om de tuin door gebruik te maken van een subtiele codering die zij niet konden zien. Het experiment laat zien dat neurale netwerken hun eigen manieren verzinnen om een probleem snel en efficiënt op te lossen tenzij ze expliciet worden verhinderd om een bepaalde methode in te zetten.