Development

Software-ontwikkeling
Digitaal - oog

Elk beeld is ongezien te vinden

Het aantal mogelijkheden om met software grote hoeveelheden afbeeldingen te doorzoeken, neemt toe.  Het wordt dus mogelijk om ongewenste visuele content buiten de deur te houden.

© Shutterstock
16 maart 2012

Waarom kan een pc niet tienduizend foto’s automatisch voorsorteren en in mapjes stoppen? Wat is er te zien in de zestig uur video die per minuut aan YouTube wordt toegevoegd? Zouden we in tweets meegezonden afbeeldingen niet op ongewenste beeldinhoud willen scannen? Waar zwerven op mijn servers eigenlijk de producttekeningen rond en moet ik geen filter in mijn mailsystemen bouwen dat voorkomt dat deze tekeningen worden gemaild? Als IT-manager weet je simpelweg niet wat er op de infrastructuur aanwezig is, anders dan bestandsnamen en aantallen gigabytes. Wat er op die gigabytes te zien is, weet niemand. Maar daar komt verandering in.

De huidige zoekmethoden voor beeld zijn grotendeels gebaseerd op wat andere mensen zeggen dat er in het beeld zit. Dat betekent dat zoekmachines zoals Google de door mensen toegevoegde tags, de bestandsnaam, of geëxtraheerde spraak gebruiken om hun zoekindex op te bouwen. Ook kan het zijn dat de zoekmachines op een webpagina de omliggende tekst of refererende links analyseren en dat verbinden aan een gevonden (video)beeld. Wanneer deze tekst fouten bevat of simpelweg ontbreekt, zijn de afbeeldingen onvindbaar.

Beelden die niet bedoeld zijn om met iedereen te delen zijn voor onlinezoekmachines ontoegankelijk en bovendien onzichtbaar. Immers, de afbeelding zelf wordt in de regel door zoekmachines genegeerd. Daar is ook een duidelijke oorzaak voor te geven: afbeeldingen bekijken is voor software niet eenvoudig. Diensten, zoals Goggles en Tineye, zijn vooral goed in het vinden van exacte kopieën, voor algemene zoekopdrachten als het vinden van plaatjes die katten, zonnebrillen of vliegtuigen bevatten, zijn ze ongeschikt.

Complex

Plaatjes kijken is een complexe bezigheid. Mensen gebruiken 50 procent van hun hersenen om te zien. Het leerproces van zien begint vroeg en houdt voor mensen nooit op. We kunnen zelfs objecten herkennen die we nooit eerder hebben gezien of niet kunnen bestaan. De mens die eenmaal weet hoe een koe eruit ziet en weet welke kleuren er bestaan, snapt direct een afbeelding waarop een paarse koe met zes poten staat afgebeeld. Ook is het opmerkelijk dat mensen kunnen herkennen wat sneeuw is op een foto. Sneeuw heeft geen enkele onderscheidende textuur, slechts één kleur en kan willekeurige vormen aannemen. Hoe mensen zien is een onopgelost mysterie. Er is helaas geen blauwdruk van het proces.

De meest populaire wetenschappelijke oplossing voor visueel zoeken is om voor elk mogelijk zoekwoord een specifieke detector te bouwen. De meest bekende zijn detectoren voor gezichten en kentekens. In beide gevallen werken wetenschappers jarenlang om deze specifieke detectoren te bouwen door gebruik te maken van het geometrische model van een gezicht of het simpele feit dat een Nederlands nummerbord altijd rechthoekig en geel is.

Hoe succesvol ook, een grote beperking van de specifieke benadering is dat voor elk zoekwoord een aparte detector ontwikkeld moet worden. Begin deze eeuw begonnen onderzoekers zich daarom af te vragen of dat niet anders kon. In plaats van specifieke kennis vooraf in een op maat gemaakte detector te stoppen, werd software bedacht die deze kennis automatisch kan leren op basis van voorbeelden. Of dit voorbeelden van gezichten, kentekens of chihuahua’s zijn, maakt niets uit, de software kan zelf de beste detector bepalen op generieke wijze (zie onder).

Nieuwe toepassingen

Het onderzoek heeft ertoe geleid dat het nu mogelijk is massale hoeveelheden afbeeldingen te doorzoeken, maar ook online videobeelden te laten bekijken door software.

Nieuwe toepassingen komen in zicht. Begin 2010 was veertig jaar video-opnames van Pinkpop-concerten tijdelijk doorzoekbaar op internet. Een demosite met software, ontwikkeld door de Universiteit van Amsterdam, Video Dock en het Nationale Instituut voor Beeld en Geluid, maakte het mogelijk met een speciale browser videofragmenten die drummers of gitaristen bevatten, uit de optredens te vissen. Een andere demonstratie onder de titel ‘Big Brother watches TV’ werd onlangs gegeven op PICNIC. De applicatie laat zien dat realtime taggen van live TV-materiaal mogelijk is op basis van teletekst-, spraak- én beeldherkenning.

Meer applicaties liggen in het verschiet, zeker nu de Nederlandse overheid fors investeert in innovatieve ICT (zie onder).

Foto’s en video’s zeggen veel over hun eigenaar: iemand met honderden poezenplaatjes is een ander persoon dan iemand die alleen maar kroegfoto’s bezit. Kan dan eindelijk geautomatiseerd toezicht geregeld worden dat voorkomt dat ongewenste zaken, zoals kinderporno, op servers terechtkomen? Grote ondernemingen kunnen filters aanleggen die ‘vlaggetjes zetten’ bij visuele content die zeer waarschijnlijk een privékarakter heeft. Met de ‘Bring Your Own Device’-trend, lijkt dat zinnig. Waarom dure bandbreedte gebruiken voor privécontent? Misschien komen er ooit wel ‘hot-contentfilters’ die ongewenste visuele content buiten de deur houden. Het antwoord is dat het allemaal kan.

Automatisch taggen

Software voor automatisch taggen bestaat uit drie stappen. De eerste stap is om per beeld tot wel 100.000 lokale pixelkenmerken te meten. Deze kenmerken zijn ongevoelig voor toevallige opnameomstandigheden veroorzaakt door belichting, gezichtspunt of schaal. Om de complexiteit van de wereld te kunnen bevatten zijn kenmerken voor textuur, vorm, kleur en beweging noodzakelijk. De tweede stap vat elke pixelbeschrijving samen in een code die een beelddetail beschrijft zoals een hoek, een textuur of een punt. Dit resulteert per afbeelding in een codeboek van wel 4000 beelddetails. In de derde stap wordt op basis van het codeboek met behulp van kunstmatige intelligentie en vooraf benoemde voorbeelden een detector ‘geleerd’. Deze detector vertaalt de pixels van codeboek naar tekst, zodat de beelden automatisch benoemd zijn.

Overheid investeert fors

De economische groei van Nederland aanjagen met behulp van innovatieve ICT-producten en -diensten: dat is het ambitieuze doel van COMMIT, het nationale onderzoeksprogramma voor fundamenteel ICT-onderzoek waarin vijftien kennisinstellingen, meer dan zestig bedrijven en de overheid samen gedurende vijf jaar 110 miljoen euro investeren. COMMIT bestaat uit vijftien deelprojecten, elk toegespitst op kennisoverdracht binnen een economisch of maatschappelijke urgent gebied, waaronder visueel zoeken. Bijvoorbeeld in het project ‘Information retrieval for information services’, geleid door de Universiteit van Amsterdam, of het project ‘Socially-enriched access to linked cultural media’, geleid door de Technische Universiteit Delft.

Toepassingen

De bekendste toepassing van computer-visiontechnologie is misschien wel die van face recognition. Hierbij worden door de computer de ogen, neus, mondhoeken en oren herkend. Per persoon zijn de afstanden tussen oog, mondhoek en oor net weer anders, waardoor personen kunnen worden geïdentificeerd. Succesvolle spin-offs waren Neven Vision (University of Southern California) en PittPatt (Carnegy Mellon University), totdat zij door Google werden overgenomen. Een andere succesvolle toepassing is controle op mogelijk inbreuk van copyright, waarbij de computer televisieuitzendingen ‘bekijkt’ en vergelijkt met bekend beeldmateriaal. Deze applicatie wordt door de Philips spin-off Civolution vermarkt.

De software van een spin-off van de UvA is weer totaal anders dan die van Civolution, omdat die van de UvA ook ongezien beeldmateriaal kan herkennen. Technische universiteiten hebben veel onderzoek gedaan naar industriële toepassingen van computer vision om geautomatiseerde kwaliteitscontroles (is de fles goed afgevuld?) en procesaansturingen te doen.

 
Lees het hele artikel
Je kunt dit artikel lezen nadat je bent ingelogd. Ben je nieuw bij AG Connect, registreer je dan gratis!

Registreren

  • Direct toegang tot AGConnect.nl
  • Dagelijks een AGConnect nieuwsbrief
  • 30 dagen onbeperkte toegang tot AGConnect.nl

Ben je abonnee, maar heb je nog geen account? Laat de klantenservice je terugbellen!