Spraakherkenningssoftware laat de computer al heel wat jaar commando’s uitvoeren. De langdurige en vervelende training die daarvoor nodig is, verhinderde tot nog toe een brede toepassing. Echter, mobiele telefoons hebben al enkele jaren de mogelijkheid om spraakgestuurd nummers te kiezen. Ook een aantal automodellen, bijvoorbeeld van Ford, kan met gesproken commando’s een beperkt aantal handelingen uitvoeren, zoals de climate control bedienen, de audio-installatie of de navigatie. Siri, de digitale assistent op de iPhone, gaat nog een stap verder en voert op commando zoekopdrachten uit of plant afspraken in de agenda.

Aanraakschermen zijn al de standaardinterface van nieuwe computerapparatuur als tablets en smartphones. Windows 8 introduceert die mogelijkheid ook bij laptops. De Kinect, de Wii en recent de Leap Motion Controller laten de computer ook reageren op arm-, hand- en vingerbewegingen in de lucht (gesture control).

De nieuwe interactiemethoden moeten het gebruik van de computer intuïtiever maken nu computerkracht op steeds meer plekken aanwezig is. Een iWatch of Pebble om de pols, Google Glass op de neus, de interactieve zuil bij McDonald’s voor de bestelling, de smartphone of tablet om te internetten en een Wii in de woonkamer. De verwarming reageert tegenwoordig op een intelligente thermostaat, het internet dringt de televisie binnen met apps en de koelkast krijgt binnenkort een display waarop recepten worden getoond en een barcodelezer waarmee de boodschappenlijst kan worden aangevuld.

Het Internet of Things dringt daarmee huis en kantoor binnen en maakt bijvoorbeeld ook computergestuurde verlichting en gordijnen mogelijk. Zo belanden we langzaamaan in een wereld waarin ambient (ofwel pervasive) computing heel gewoon is. Het traditionele toetsenbord en muis raakt daardoor samen met de desktopcomputer, steeds verder uit de gratie.

De ideale interface

De vraag is welke nieuwe computerinterfaces als ideaal komen bovendrijven om deze overal aanwezige intelligentie te bedienen. Moeten huizen en werkomgevingen daaraan worden aangepast? Doorgaans doemen bij zo’n vraag beelden op van interessant gebarende mensen die voor een beeldscherm communiceren met een computer. Volgens animator en blogger Christian Brown is dat merkwaardige toekomstbeeld de schuld van de filmindustrie. Sinds de film Minority Report uit 2002 denkt iedereen dat gesture control de toekomst heeft omdat die gebarende mensen het goed doen op het grote filmdoek.

Maar het draaien van een object door een hand vooruit te steken en met de ander veegbewegingen te maken, is helemaal geen intuïtieve handeling. Hooguit bij een beperkt aantal toepassingen in steriele omgevingen zoals een operatiekamer en bij gaming of digitale sport (Wii) biedt gesture control uitkomst. Volgens Brown gaat het beeld dat Hollywood schetste voorbij aan waar de menselijke zintuigen goed in zijn. Naast kijken en horen is dat objecten vastpakken en het verschil voelen tussen oppervlakten. Of reageren op de mate van tegendruk die objecten geven (haptische feedback). Maar dat is veel minder aantrekkelijk uit te beelden in de bioscoop.

Kapsel in de war

De industrie maakt juist ook vorderingen bij het creëren van computerinterfaces die andere menselijke eigenschappen aanspreken. Bijvoorbeeld kledingstukken die aanrakingen over honderden kilometers afstand voelbaar kunnen maken, (game)consoles die haptische tegendruk geven of een band over de onderarmen die kleine veranderingen in spierspanning detecteert (electromyografie).

De computer-brein-interface (BCI) maakt zelfs het direct besturen van computers met de hersenen mogelijk en wordt al ingezet bij sommige geavanceerde games en in medische toepassingen. Het gebruik ervan is nog niet erg praktisch omdat het goed opzetten van een bci-cap (badmuts) tijd kost, niet erg comfortabel is en het het kapsel in de war stuurt.

Naarmate de computer met steeds meer menselijke impulsen overweg kan en alom aanwezig is, verwachten mensen ook dat de computer menselijker gaat reageren. “Vaak zelfs proactief, dus zonder dat expliciete commando’s worden gegeven”, zegt Dirk Heylen die als hoogleraar aan de Universiteit Twente met zijn groep van het CTIT onderzoek doet naar natuurlijke omgang met computers.

Voordat de computer menselijk kan reageren is het belangrijk dat de computer enig begrip krijgt van menselijke emoties. De computer heeft al heel wat mogelijkheden om de stemming te peilen, met beeldherkenning en stemherkenning als belangrijkste ijkpunten. “De techniek is voor ons onderzoek minder belangrijk, meer hoe de mensen er op reageren en wat ze er mee doen”, licht Heylen toe. “Vooral interessant is hoe we al die informatie combineren met de context waarin iets gebeurt.”

Dat de context heel belangrijk is, illustreert Heylen met het voorbeeld dat mensen lachen omdat ze blij zijn, maar ook als ze gefrustreerd zijn of juist alleen als een standaard ondersteuning bij een handeling. “De meeste mensen geven bijvoorbeeld een lachje bij een begroeting, ook al zijn ze helemaal niet blij. Er is geen een-op-een-relatie tussen uitdrukking en emotie.” De computer moet daar mee om weten te gaan om een natuurlijke reactie te geven.

Al toegepast in de praktijk

Hoewel Heylen zich vooral buigt over fundamentele vraagstukken, werkt zijn groep veel samen met bedrijven en organisaties die een praktische invulling geven aan dit onderzoek. Zo testen zij in het COMMIT-project met de politieacademie van het Korps Landelijke Politiediensten een systeem dat politiemensen in opleiding helpt in het afnemen van een verhoor. Een virtuele verdachte reageert op de vragen die de agent stelt en traint zo het vermogen van de agent om vertrouwen te winnen en belangrijke informatie te ontfutselen tijdens de verhoring. Het systeem is opgezet naar een voorbeeld dat het Institute of Creative Technologies in Los Angeles ontwikkelde.

Ook is er een programma dat verpleegkundigen in opleiding ondersteunt. Het systeem houdt daarbij het motivatieniveau in de gaten en reageert daarop. Bij het bepalen van de motivatie kijkt de computer onder meer naar het resultaat van de net uitgevoerde taken ten opzichte van eerder gemaakte opdrachten. Bij onvoldoende motivatie komen de resultaten langzamer, gaat er meer fout en neemt de frustratie toe. De computer analyseert dan ook de gezichtsuitdrukkingen. Constateert hij afnemende motivatie, kan de computer besluiten het nog eens voor te doen of een andere aanpak te suggereren. Soms kan hij besluiten dat het beter is even te stoppen. Oogt de student juist heel gemotiveerd, dan kan de computer meer uitdaging bieden door naar een niveau hoger te gaan.

Ook de entertainmentindustrie is erg geïnteresseerd in het werk van Heylen. Zo kwamen vertegenwoordigers van gamegigant Rovio en de bouwers van een Chinees pretpark al informeren hoe zij de resultaten van het onderzoek kunnen toepassen.

In zichzelf pratende medepassagiers

Bij Intel is de natuurlijke interactie met computers sinds twee jaar een van de prioriteiten. Het bedrijf bracht eind vorig jaar een perceptual computing software development kit uit en daagt ontwikkelaars uit originele prototypes te ontwerpen, niet alleen voor de game-industrie maar juist voor op het werk en in huis. In totaal is dit jaar een prijzenpot van 1 miljoen dollar beschikbaar. Intel werkte voor het maken van de SDK samen met onder meer spraakherkenningsspecialist Nuance en met SoftKinetic voor gezichtsherkenning en augmented reality.

Volgens Craig Hurst, directeur Visual Computing Product Management bij Intel is de kwaliteit van de camera’s en de kracht van processors op een punt gekomen dat deze ontwikkelingen interessant worden. Hij verwacht dat het ecosysteem rond natuurlijke input de komende jaren explosief groeit wanneer ontwikkelaars doorkrijgen hoe eenvoudig het is nieuwe vormen van interactie toe te passen.

Welke vormen van interactie uiteindelijk gekozen worden, hangt waarschijnlijk sterk af af van de situatie waarin ze worden gebruikt. Terwijl Google Glass zich vooral richt op spraakcommando’s en de Kinect en Leap Motion gesture control gebruiken, zullen bijvoorbeeld gebruikers van het openbaar vervoer niet uitkijken naar in zichzelf pratende of wild gebarende medepassagiers. De armband genaamd Myo van producent Thalmic Labs die de computer laat reageren op spierspanning in vingers en onderarm, lijkt dan weer aantrekkelijker. Belangrijk is de draagbaarheid, vindt Heylen, en de technologie moet 24 uur per dag werken, dus de batterij moet geen probleem zijn.