Microsoft sleutelde verder aan GPT voor integratie met Bing-zoekmachine

Microsoft gaf eind vorige week een inkijkje in de manier waarop het bedrijf de ChatGPT-technologie van OpenAI heeft geïntegreerd in Bing. Het bedrijf wil er een zoekmachine van maken die in natuurlijke taal antwoord geeft op zoekopdrachten. ZDNet schrijft daarover.

Het probleem met taalmodellen zoals ChatGP, is dat ze zijn getraind op enorme hoeveelheden data. Die training is voor ChatGPT 3.5 gestopt ergens in 2021. Een gebruiker wil van een zoekmachine dat deze ook actuele gegevens van internet meeneemt in het beantwoorden van vragen. Daarom heeft Microsoft een eigen model ontwikkeld dat de resultaten op een reguliere Bing-zoekopdracht verwerkt in een natuurlijk tekst die door ChatGPT wordt gegenereerd, legde Jordi Ribas, bij Microsoft verantwoordelijk voor zoeken en AI, uit in een artikel op LinkedIn.

Het model dat Microsoft over ChatGPT heen legt, heet Prometheus. Dat maakt op zijn beurt weer gebruik van een component genaamd Bing Orchestrator. Die genereert binnen enkele milliseconden een interne reeks iteratieve zoekopdrachten tussen de 'klassieke' Bing en GPT op basis van de input van de Bing-gebruiker. Het resultaat wordt gepresenteerd als het 'Chatantwoord'. De zoekresultaten op basis van opdrachten en chatconversaties worden weer aan Prometheus gevoed, zodat dit model steeds beter wordt in het beantwoorden van actuele vragen, terwijl ook het aantal foutieve antwoorden vermindert. Dit proces noemt Ribat 'grounding'.

Nog makkelijk uit de bocht

Dat het nog niet altijd goed gaat, bleek de afgelopen weken bij de presentatie van Microsoft van de nieuwe Bing-zoekmachine die het vervolgens voor een beperkt aantal gebruikers heeft opengesteld. Tijdens de presentatie maakte de zoekmachine al fouten in antwoorden, maar nadat gebruikers er mee aan de haal gingen, bleek het systeem bij langere vraag-antwoordsessies steeds verder van het padje te raken. Inmiddels heeft Microsoft het aantal vraag-antwoordrondes in een sessie beperkt tot vijf zodat het systeem niet meer in zichzelf verstrikt raakt. Microsoft is van plan het grounding-proces met een factor vier op te schalen, om de zorgvuldigheid te verbeteren.

Ribas legt in het artikel ook uit dat er intern nogal wat discussie is geweest over hoe de zoekresultaten in de nieuwe Bing gepresenteerd moesten worden. Een groep wilde de resultaten weergeven in een lijst gerangschikt naar relevantie zoals zoekmachines doorgaans doen. Een andere groep wilde een heel nieuwe manier van zoeken introduceren waarbij de Bing-gebruiker in een vraag-antwoordsessie met Bing de gevraagde informatie kreeg. Uiteindelijk is gekozen voor een interface waarbij de gebruiker kan kiezen tussen beide vormen.