Ervaringsmachines nemen menselijk geheugen over
Daar waar kunstmatige intelligentie is gericht op het ontwikkelen van autonoom denkende systemen, is multimedia gericht op het tot stand brengen van een perfecte synergie tussen mens en machine. Als toekomstige toepassingen worden onder meer genoemd virtualrealitytoepassingen in de sociale, artistieke en businesssectoren en het onderwijs en bijvoorbeeld multimediale forensische en medische databases in de maatschappelijke sector. Het fundament voor innovaties zou echter liggen in het koppelen van nieuwe toepassingen aan de basisbehoeften van de consument. De consument wordt zelf producent door het uitwisselen van multimediale producten, zoals muziek. In het verlengde hiervan zie ik een belangrijke nog onbesproken ontwikkeling. Consumenten produceren zelf een snelgroeiend volume aan digitale autobiografische multimediale informatie in de vorm van spraak, tekst, beeld en geluid. Gepaard daaraan ontstaat een substantiële behoefte aan hulpmiddelen om deze digitale informatie in de vorm van een multimediaal autobiografisch geheugen te organiseren en zoekbaar en presentabel te maken. Daar ligt op korte termijn een enorme uitdaging voor de multimedia industrie en voor serviceproviders: er zijn interessante businessmodellen denkbaar voor diensten op het gebied van beheer en uitwisselingen van autobiografische content. Mijn kernboodschap is dat computers zich zullen ontwikkelen tot multimediale ervaringsmachines. Machines die onze waarnemingen registreren, opslaan en er betekenis aan kunnen toekennen. Machines die ons deze ervaringen laten herbeleven, laten delen met anderen en ons als een persoonlijk multimediaal geheugen ondersteunen in onze dagelijkse activiteiten, als een supplement van ons natuurlijke geheugen. Deze vergaande symbiose tussen mens en machine zal een verandering brengen in hoe wij onszelf en de maatschappij ervaren. De weg naar ervaringsmachines werd halverwege de vorige eeuw ingezet door de Amerikaan Vannevar Bush, met een markant visionair vermogen op het gebied van menscomputerinteractie. In 1945 beschreef hij in The Atlantic Monthly een toepassing van elektronica die hij de Memex noemde, en dat terwijl de eerste monstrueuze buizencomputer het daglicht nog moest zien. De Memex was een futuristisch apparaat voor individueel gebruik waarin al onze boeken, platen en communicatie konden worden opgeslagen, en dat met grote snelheid en flexibiliteit kon worden geconsulteerd. Hij noemde het een ‘enlarged intimate supplement of our memory’. Het had doorzichtige schermen waarop leesmateriaal kon worden geprojecteerd en een soort toetsenbord. Bush voorzag hoe een gebruiker via ingenieuze associatie en indexeringssystemen met één druk op de knop van het ene stukje informatie naar het andere zou kunnen springen. Pc’s en hypertext zijn hierin al herkenbaar. Het geheel zou volgens Bush leiden tot een totale ervaring van meningen en beslissingen van onszelf, vrienden en autoriteiten. Twee elementen in deze visie verdienen bijzondere aandacht: supplementair geheugen en natuurlijke consultatie, ofwel interactie. Beide elementen hebben een eigen ontwikkeling doorgemaakt, maar zullen spoedig bij elkaar komen om de ervaringsmachine van Bush tot leven te brengen. Geheugen Steeds meer informatie die men vroeger in laden en archieven bewaarde en nu digitaal op de desktopcomputer beheert, is mee te nemen in kleine zakcomputertjes, de personal digital assistants (PDA’s). Hierin beheren we adressen, (agenda)afspraken, aantekeningen en emails en communiceren we draadloos via elektronische netwerken in de vorm van tekst, beeld, geluid of gesproken woord. Ze helpen ons een vergadering te plannen, de vergadering met justintimeinformatie voor te bereiden en de uit de vergadering voortkomende afspraken en acties vast te leggen en door te geven aan anderen. Daarnaast bevatten ze steeds meer encyclopedische informatie, woordenboeken et cetera. Mijn PDA bevat nu al veel persoonlijke informatie: alle gegevens over mijn inboedel, belangrijke financiële zaken, de genealogie van familie, belangrijke gebeurtenissen en informatie uit de krant, belangrijke citaten en ideeën uit boeken, leuke uitspraken van mijn zoon en enkele markante foto’s en geluidsopnames uit het persoonlijke leven. Het breidt zich steeds meer uit. Omdat deze informatie op elk moment en elke plaats tot mijn beschikking is en goed en lang bewaard blijft, vervult de PDA steeds meer de rol van een supplementair geheugen. Met ingebouwde minicameraatjes en voicerecorders zijn PDA’s nu ook in beperkte mate in staat om in beeld en geluid persoonlijke ervaringen te registreren, en weer te presenteren als dat nodig is. Ook kunnen waarnemingen van externe digitale camera’s, omgevingssensoren of van anderen worden gebruikt, en met kennis van plaats, tijd en bron met elkaar in verband worden gebracht. Het digitale en multimediale autobiografische dossier wordt zo steeds rijker en samenhangender. We zijn er echter nog lang niet. De interactie met dat geheugen verloopt helaas nog steeds via minidisplays, minitoetsenbordjes of ‘touch screens’ en pennetjes. Ook is nog veel onderzoek nodig om de PDA voldoende semantisch begrip van de informatie te geven, zodat het met ons mee kan denken. De Carnegie Mellon University coördineert het grote Informediaproject waar al jaren vorderingen worden gemaakt met semantische analyses van waarnemingen, met ‘experience on demand’ via PDA’s en met het synthetiseren van persoonlijke waarnemingen van geografisch gespreide teamleden tot wat genoemd wordt ‘een collectieve ervaring’. De conclusie is dat de PDA langzaam supplementair aan ons geheugen begint te worden, maar helaas nog weinig natuurlijke interactie biedt. Interactie Het tweede element, de natuurlijke interactie, is het best zichtbaar in de wereld van virtualrealitytechnieken, de meest intuïtieve vorm van computerinteractie tot op heden. Door de computer de plaats van onze ogen en handen door te geven kunnen wij met kleine displays voor onze ogen (‘head mounted displays’) rondkijken in een virtuele wereld die alleen in het geheugen van de computer bestaat, en wij kunnen op natuurlijke wijze met virtuele handen de virtuele omgeving bewerken. Virtuele multimediale werelden hebben een enorm toepassingspotentieel. We kennen de trainingssimulatoren in de luchtvaart en de medische wereld en de virtualisatie van architectonische ontwerpen. Maar in de virtuele wereld is het ook mogelijk het normaal onzichtbare zichtbaar te maken en het normaal onvoelbare voelbaar: onderzoekers aan de University of North Carolina kunnen moleculen in uitvergrote vorm in hun hand houden en de krachten voelen van een chemische binding. De virtuele wereld is ideaal om abstracte informatie via begrijpelijke metaforen hanteerbaar en inzichtelijk te maken: beurskoersen kunnen als een landschap van groeiende plantjes worden gevisualiseerd of als vallende sterren. Niet in de laatste plaats is het een ideale wereld als virtuele ontmoetingsplaats voor mensen die fysiek niet in staat zijn bij elkaar te komen. Zo is recentelijk in het EUproject van de Technische Universiteit Delft (TUD), TNO, Sony en BT een geavanceerde 3D Virtual Team User Environment ontwikkeld (Virtue). Nog interessanter is de combinatie van de virtuele wereld met de werkelijke wereld. Boeing experimenteert al vanaf 1990 met ‘augmented reality’brillen die het voor assemblagemonteurs mogelijk maken de werkelijke vleugel van een vliegtuig virtueel te annoteren met de virtuele schema’s van bedradingen en leidingen. De US Army Simulation, Training and Instrumentation Command (Stricom) ontwikkelde recentelijk het Mobile Augmented Reality System (Mars). Mars is een systeem waarmee zowel training als operationele taken effectiever worden door toevoeging van synthetische omgevingsinformatie of door aanwijzigen toe te voegen aan de echte wereld. Hierbij wordt herkenning van spraak en handgebaren en ook 3Dgeluid ingezet voor een natuurlijke interactie. Het systeem is nu op het technology readiness level (TR3). Met deze interactiemethode hoeven we de computer niet meer te besturen, maar interpreteert de computer ons natuurlijke gedrag en laat ons de informatie op een natuurlijke wijze ervaren. Virtualrealitytechnieken brengen de communicatie met informatiesystemen op het niveau van intermenselijke communicatie. Een boeiende vraag is nu of we dit element kunnen combineren met het eerste: het supplementair geheugen. Natuurlijk Door bovenstaande ontwikkelingen te combineren worden wij in staat ervaringen uit ons persoonlijke leven vergaand en realtime vast te leggen in een persoonlijk autobiografisch archief van waarnemingen en uitwisselingen, en deze weer te herbeleven. De PDA ontwikkelt zich tot een draagbaar ‘Individual Autobiographic Memory’ (IAM) dat over onze schouders meekijkt, zelf associeert, proactief met ons meedenkt en belangrijke informatie naar ons terugkoppelt. Virtualrealitytechnieken maken dit meekijken en terugkoppelen op ‘natuurlijke’ wijze mogelijk. De ondernemende onderzoeker Steve Mann van het MIT heeft al enkele principes gedemonstreerd onder de naam ‘visuele geheugenprothese’ (Mann & Niedzviecki, Cyborg: Digital Destiny and Human Possibility in the Age of the Wearable Computer, 2002). Naast visuele displays droeg Mann ook minicamera’s aan het hoofd waarmee zijn geheugenprothese de omgeving kon waarnemen en analyseren. Via een doorzichtig headmounted display zag Mann de echte wereld tegelijkertijd met de informatie die zijn visuele geheugenprothese hem wilde laten zien. Mann heeft dit systeem al jaren operationeel beproefd. Hij kon op deze wijze naar wens een bepaald beeld terughalen om het nog eens goed in zich op te nemen. Bij het ontmoeten van mensen herinnerde de geheugenprothese hem aan de naam en achtergrond van de persoon. Bij het zien van verkeersborden of een omgeving gaf de geheugenprothese uitleg, toelichting of waarschuwingen. Daarbij leerde de visuele geheugenprothese voortdurend van het patroon van de vragen die werden gesteld. Inmiddels is het logge systeem uit de jaren tachtig vervangen door een draadloos brilmontuur. Vanzelfsprekend is in dit systeem het begrip van de multimediawaarneming nog beperkt tot het herkennen van gezichten en verkeersborden. Wat dat betreft wordt de komende jaren nog veel vooruitgang verwacht. Ook zal veel aandacht geschonken moeten worden aan robuustheid, want een uitvallend geheugen is onacceptabel. Tevens zullen vraagstukken die betrekking hebben op privacy moeten worden opgelost, vooral wanneer autobiografische informatie wordt gedeeld met anderen. In IAM blijven herinneringen compleet en zuiver, terwijl in ons natuurlijke geheugen herinneringen door menging met latere herinneringen opgaan in algemene schematische voorstellingen. Ook onze associatiemethodes veranderen bij het ouder worden. Herinneringen in IAM kunnen worden doorgegeven aan anderen of aan volgende generaties. In de komende evolutie van persoonlijke geheugens zal het traditionele verband tussen waarnemen en herinneren vervagen. Ervaringsmachine Met de ontwikkeling van het draagbaar autobiografisch geheugen komt de ervaringsmachine van Vannevar Bush tot leven. De verwerkelijking van deze machine zal nog grote vindingrijkheid en inspanning vergen van wetenschappers en ontwikkelaars uit vele verschillende disciplines. Onderzoek in de informatica op het gebied van multimediaanalyse zal ertoe bijdragen dat wij uit beeld en geluid meer informatie kunnen halen op semantisch niveau. Onderzoek in de psychologie en natuurkunde zal ertoe bijdragen dat wij beter inzicht krijgen in zintuiglijke en cognitieve capaciteiten en in elementaire betekenissen en emoties die mensen aan beeld en geluid toekennen. Tezamen brengt dit de computer als ervaringsmachine steeds dichterbij. Wij staan op een bijzonder moment in de geschiedenis van het multimediaonderzoek. Een aantal krachtige Nederlandse spelers uit de onderzoekswereld (UvA, TUD, CWI, CTIT, De Waag, het Telematica Instituut en TNO) en uit het bedrijfsleven (Philips, IBM, CMG en belangrijke andere partijen) hebben een convenant gesloten onder de naam MultimediaN. Dit consortium heeft een gezamenlijke ambitie geformuleerd om de multimediakennis op het gebied van multimediawaarneming, opslag, analyse en interactie daadwerkelijk in de grote maatschappelijke en economische waarde om te zetten die ervan wordt verwacht. Hiermee zullen de in dit verhaal beschreven ontwikkelingen een grote impuls krijgen. Peter Werkhoven is stafdirecteur TNO ICT en als bijzonder hoogleraar ‘Multimedia Interactie’ verbonden aan het Informatica Instituut van de Universiteit van Amsterdam. Zijn onderzoek bevindt zich op de raakvlakken van natuurkunde, psychologie en informatica. Op 17 januari 2003 sprak hij zijn inaugurele rede uit met de titel ‘Multimedia door een sleutelgat’.