Antwoord.

De strategie voor het kiezen tussen handmatig en geautomatiseerd testen wordt bepaald door verschillende factoren, waaronder kosten, doelstellingen, stabiliteit van functies en beschikbare arbeidsmiddelen.

Achtergrond van de vraag: In de beginperiode van automatisering werd aangenomen dat het doel zou moeten zijn om 100% van de tests te automatiseren. Later werd duidelijk: niet elke controle moet worden geautomatiseerd — sommige taken kunnen handmatig eenvoudiger, sneller en goedkoper worden uitgevoerd.

Probleem: Automatisering biedt alleen voordelen bij frequente en herhaalde uitvoering van dezelfde scenario's. Eenmalige, snel veranderende of subjectieve (visuele, UX) controles zijn veel eenvoudiger handmatig uit te voeren. Bij de poging om "alles te automatiseren" groeit het budget snel, terwijl de winst verloren gaat.

Oplossing: Bij voorkeur is het wenselijk om eerst te automatiseren wat:

Frequent wordt uitgevoerd
Stabiel is in implementatie
Kritiek is voor de business

Handmatig testen is relevant voor:

Creatieve, verkennende scenario's
Eenmalige of snel verouderende taken
Controle van elementen die moeilijk te automatiseren zijn (drag&drop, animaties)

Belangrijke kenmerken:

Analyse van ROI (return on investment) voor elke taakklasse
Betrekken van experts uit QA bij het formuleren van strategieën
Prioritering van kritische en regressiefuncties

Misleidende vragen.

Is het mogelijk om winst te behalen door alle tests in een project te automatiseren?

Nee, omdat veel tests eerder veranderen dan dat ze de geïnvesteerde inspanningen terugverdienen, en het onderhoud van automatisering duurder zal zijn dan het handmatig uitvoeren van dezelfde tests.

Kan handmatig testen verplicht zijn bij de release naar productie?

Ja, omdat sommige taken (vooral gerelateerd aan UI/UX en visuele regressie) moeilijk of onmogelijk adequaat te automatiseren zijn.

Is het voordelig om tests van eenmalige/verkennende taken te automatiseren?

Nee, automatisering kost tijd en middelen die niet worden terugverdiend bij een eenmalige of zelden gebruikte test.

Typische fouten en anti-patronen

Alles zomaar automatiseren,
De mening van handmatige testers negeren,
Geen kosten-batenanalyse (ROI) uitvoeren

Voorbeeld uit de praktijk

Negatieve case

Het team besloot om alle handmatige testcases te automatiseren, inclusief cross-browser tests op niet-standaard apparaten en visuele controle van lay-outs. Uiteindelijk werden in enkele maanden tijd honderden uren besteed aan het onderhouden van verouderde tests.

Voordelen:

Hoog percentage dekking door autotests

Nadelen:

Toename van onderhoudskosten
Moeilijkheid bij releases
Sommige bugs ontsnappen

Positieve case

Het team, samen met de manager, stelde een lijst op van kritische businessscenario's (registratie, betalingscontrole) die consistent werden geautomatiseerd; alles wat overbleef werd handmatig of gedeeltelijk getest (met behulp van exploratory testing).