Development

Dit is een bijdrage van Tricentis
Procesmanagement
De web naar volledig autonome tests

De weg naar volledig autonome tests

Welke concept wordt snelst realiteit: autonoom testen, of autonoom controleren?

© Shutterstock
9 september 2022
Door: Tricentis, partner

Welke concept wordt snelst realiteit: autonoom testen, of autonoom controleren?

Zal volledig autonoom testen werkelijkheid worden? En wanneer? Dat is een onderwerp dat we bespreken in dit artikel.  Maar laten we, voordat we daar dieper op ingaan, eens nader kijken naar de twee woorden waaruit die term bestaat.

Autonoom, dat wil zeggen ‘zonder menselijke tussenkomst’, is vrij eenvoudig. Testen is moeilijker omdat het onderzoekende karakter van testen zich niet leent voor automatisering. Wat ik nu ga beschrijven kan het beste worden gecategoriseerd als ‘autonoom controleren’.

Met geavanceerde hulpmiddelen zoals vision-gebaseerde testautomatisering en andere intelligente automatiseringsengines zijn de problemen van geautomatiseerde controles verschoven van "Hoe kan ik deze interface op betrouwbare wijze automatiseren" naar problemen op een hoger niveau. Mensen zijn nog steeds grotendeels verantwoordelijk voor het maken van de geautomatiseerde controles: beschrijven welke invoer moet worden ingevuld, op welke knoppen moet worden geklikt, enz. Dit is de eerste horizon.

De verschuiving naar autonomie kan het best worden gedefinieerd als "Beschrijven wordt Beslissen". Met benaderingen zoals slimme impact analyse is dit al het geval. Je hoeft niet te beschrijven welke tests je moet uitvoeren; je hoeft alleen maar te beslissen of de aanbevelingen van de tool voldoen aan je behoeften. Dit is geweldig in gesloten systemen zoals SAP, Salesforce, en ServiceNow. Met de hulp van AI zal deze trend zich tot ver daarbuiten uitbreiden - tot het domein van op maat gemaakte applicaties.

Zo geweldig! De toekomst bestaat dus gewoon uit het krijgen van een uitdraai van mogelijke activiteiten van de machine en simpelweg groen licht geven? Nou... niet zo snel.  U ziet, deze gesloten systemen hebben niet alleen gedefinieerde processen; ze hebben ook gedefinieerde uitkomsten. Niet zo met op maat gemaakte toepassingen. Terwijl het bepalen van de te nemen acties generiek mogelijk is (door te kijken naar mensen die deze acties uitvoeren), is het niet altijd mogelijk om de "Waarom"-component te extraheren. Wanneer een gebruiker een transactie uitvoert, kijkt hij naar de bovenkant van het scherm om te controleren of de waarde "Bedrag" correct is. Deze validatie wordt niet vastgelegd, zodat het geautomatiseerde proces het doel van de controle mist (namelijk niet alleen vaststellen dat de transactie is verwerkt, maar ook dat zij correct is verwerkt).

Dit is echter geen somber vooruitzicht. Hoewel "Volledig Autonoom" controleren nog ver weg is, zal de trend van "Beschrijven wordt Beslissen" een hoop werk wegnemen waar kwaliteitsingenieurs vandaag de dag mee zitten. Het ontleden van de uitgevoerde scenario's, het injecteren van validaties, en het beslissen welke uit te voeren is een veel aangenamere job dan je zorgen te maken over waarom de Login knop geen stabiel ID-veld heeft.

Toch zijn er nog een paar dingen om in gedachten te houden:

  1. Pas op voor test case spam

Als je begint aan een autonoom testproject en je team komt terug met een tool of proces dat "duizenden tests genereert", pas dan op. Je moet deze tests nog steeds doorpluizen, validaties injecteren, en debuggen als ze ‘falen’. Het motto van ‘minder, maar gerichte tests’ is de afgelopen 20 jaar een goede leidraad geweest, en dat blijft het ook nu.

  1. Onderzoek het hoe

Als je te horen krijgt dat je tests automatisch gegenereerd kunnen worden, verdiep je dan een beetje in hoe dat gebeurt. Artificiële Intelligentie is geen magie. Als iets magisch lijkt, is het hoogstwaarschijnlijk een verzinsel. Je team zou je moeten kunnen vertellen dat het proces gebruikspatronen onderzoekt, bestaande (accurate) definities parst, of een andere bron heeft van hoe het de test definieert. "De app door elkaar schudden en er tests uit genereren" is nog steeds stevig in de wereld van magisch denken.

  1. Vraag naar onderhoud

Duizend testen is net als duizend rookmelders hebben. Als je een heel flatgebouw bezit, is dat waarschijnlijk gerechtvaardigd. Bezit je een huis, dan bent je twee uur bezig om ze allemaal uit te schakelen wanneer je de toast verbrandt. Tests die falen moeten worden onderzocht, bijgewerkt of weggegooid. Informeer naar de aard van deze methode om na te gaan of autonomie op de lange termijn daadwerkelijk tijd zal besparen.

Desondanks ziet de toekomst van autonome controles er zeer rooskleurig uit. Het doel van de industrie zou moeten zijn een methode te ontwikkelen om de beste - en de minste - tests te genereren die nodig zijn om het gewenste niveau van zekerheid te bereiken.

Reactie toevoegen