Microsoft komt met AI-agent die bestanden op malware scant, maar hij werkt niet heel goed

Het idee is dat Project Ire, dat vooralsnog een prototype is, security analisten kan gaan ondersteunen bij het controleren van software op malware. De AI-bot kan namelijk geheel zelfstandig op basis van wat aangeleerde kennis en een LLM software controleren, identificeren en laten blokkeren door Microsoft Defender, aldus Microsoft. 

Microsoft claimt dat dankzij Ire er uiteindelijk minder mensen nodig zijn die handmatig bestanden en software controleren. Je zou de agent kunnen zien als onvermoeibare pre-filter die een aanzienlijke lading werk wegneemt en daarbij het ook mogelijk maakt om nog sneller op gevaren te reageren. 

In de realiteit

Hoewel de softwaregigant uit Redmond vanzelfsprekend uitermate positief is over de agent en stelt dat het een stap in de goede richting is, laten eerste tests zien dat de bot in de praktijk misschien minder handig is dan je zou hopen.

Uit een test met 4.000 bestanden die handmatig gecontroleerd zouden moeten worden, bleek iets anders. Project Ire vond inderdaad bestanden die malware bevatten, maar kon slechts 24 procent van alle malware uit de hele test identificeren. Het wordt nog erger, want uit nadere controle bleek dat 89 procent van de bestanden die door Ire geïdentificeerd waren ook daadwerkelijk malware bevatten. 

In de praktijk betekent dat simpelweg dat er geen basis om voor de door de AI-agent geleverde resultaten te vertrouwen en dat mensen nog steeds handmatig alle bestanden moeten controleren. 

Ondanks de positiviteit van Microsoft, geeft de gigant wel toe dat Project Ire nog verbetering nodig heeft. De foutmarges moeten omlaag. Tegelijk geeft het bedrijf wel aan dat de AI-agent significant kan helpen bij de werkdruk van security professionals die steeds meer data te verwerken krijgen en dat moeten doen zonder dat er extra collega's bijkomen.