Antwoord.

Handmatige tests in de onderhoudsfase zijn tests van een bestaand en functionerend systeem bij aanpassingen, bugfixes of de integratie van nieuwe componenten.

Achtergrond van de vraag

Eerder werd onderhoud vaak adhoc uitgevoerd, waarbij alleen nieuwe functies werden getest. Uiteindelijk werd duidelijk dat elke wijziging bestaande scenario's kon beïnvloeden.

Probleem

De volgende situatie komt vaak voor:

Lokale wijzigingen worden aangebracht, maar hun invloed op de oude functionaliteit wordt vaak onderschat.
Regressie kan optreden in, ogenschijnlijk, niet-gerelateerde modules.
Het ontbreken van een systematische aanpak verhoogt het risico van plotselinge „uitval” in productie.

Oplossing

Effectieve organisatie van maintenance testing vereist:

Het выделение и постоянное обновление "сета ключевых сценариев", которые проверяются при каждой доработке
Gebruik van checklists en regressiemappen
Het opnemen van exploratory testing om onverwachte effecten van wijzigingen te vinden

Belangrijke kenmerken:

Snelle reactie op kleine wijzigingen met een minimale rollback
Focus op echte gebruikersscenario's die indirect kunnen worden beïnvloed
Flexibiliteit in de keuze van methodologie: van checklists tot creatief exploratief testen

Vragen met een valstrik.

Moet je alleen de modules testen die zijn gewijzigd?

Nee, het is absoluut noodzakelijk om ook gerelateerde delen van het systeem te testen, om neveneffecten van wijzigingen niet te missen.

Is volledige regressietests na elke fix voldoende?

Nee, vaak is het voldoende om de kritische paden te controleren, en volledige regressie wordt alleen voor de release of bij significante wijzigingen uitgevoerd.

Kun je volledig afzien van exploratory testing in de onderhoudsfase?

Nee, exploratieve testing stelt je in staat om niet-triviale bugs buiten het scenario dekking te vinden en moet de onderhoudsfase begeleiden.

Typische fouten en antipatterns

Veronachtzaming van gerelateerde modules: alleen het "gepatchte" deel wordt getest
Ontbreken van een actuele regressie set van scenario's
Negeert het begrip van de architectuur, vertraagt het bepalen van risicogebieden

Voorbeeld uit het leven

Negatief geval

Na het oplossen van een bug in het gebruikersprofiel wordt alleen het profiel getest, maar de autorisatie en weergave van het profiel op andere pagina's wordt niet gecontroleerd. Het resultaat is een bug: op de homepage wordt het profiel niet bijgewerkt.

Voordelen:

Snelle afronding van de test van een specifieke taak

Nadelen:

Het missen van bugs in gerelateerde secties
Vermindering van vertrouwen in QA en het product

Positief geval

De opgeloste bug in het profiel wordt zowel afzonderlijk als collectief getest: controleert het profiel overal waar het wordt gebruikt. Een checklist van kritieke scenario's wordt gebruikt.