AI-agents zijn in 2028 meer dan vijf keer zo duur, voorspelt Gartner

Die inference paradox wordt duidelijk zichtbaar als je een chatbot en een AI-agent met elkaar vergelijkt, legt Will Sommer uit. Hij onderzoekt als senior director analyst voor Gartner de kostendynamiek van AI-inference. ‘Een eenvoudige chatbot moet een vraag lezen en interpreteren, en snel reageren met een redelijk antwoord, gebaseerd op kansberekening. Een AI-agent moet voortdurend redeneren, met zichzelf onderhandelen en zichzelf bevragen.’

Drie oorzaken

Gartner noemt drie factoren die de paradox verklaren. Zo worden AI-modellen in hoog tempo goedkoper: de prijs per token gaat omlaag door efficiëntere chips. Bovendien stappen organisaties over op krachtiger en duurdere modellen. Dus de besparing van de goedkopere tokens wordt weer ingezet voor meer geavanceerde, kostbare AI-toepassingen. Complexere AI-workflows verbruiken meer tokens dan eenvoudige toepassingen. Resultaat: de inferencekosten stijgen.

Meer tokens nodig

Voor IT-verantwoordelijken zijn die scherpe tokenprijzen geen garantie dat de totale AI-kosten onder controle blijven, zegt Sommer. Elke volgende generatie AI-model heeft namelijk meer tokens nodig, een betrouwbaar en betaalbaar model voor alle toepassingen bestaat nog niet. Management moet dus niet alleen aantonen dat AI waarde toevoegt, maar ook dat die waarde opweegt tegen de oplopende kosten.

Mensen goedkoper dan AI

Gartner waarschuwde al eerder voor de gevolgen van gestegen AI-gebruik. Daardoor zou het goedkoper zijn om menselijke developers in te zetten, dan om AI code te laten genereren. In juni voorspelde het onderzoeksbureau dat in 2028 de kosten van codegeneratie door AI hoger is dan het salaris van de gemiddelde softwareontwikkelaar.