Antwoord.

Smoke-testing en regressietesten zijn belangrijke soorten handmatige testen die in verschillende stadia van ontwikkeling en het uitbrengen van updates worden toegepast.

Achtergrond van de vraag:

Smoke-test (van “smoke test” in de elektronica - een controle of er geen 'rook' komt na het inschakelen van het apparaat) is een snelle minimale controle of de belangrijkste functies van het systeem werken. Regressietesten is een volledige of gedeeltelijke hercontrole van de functionaliteit om te bevestigen dat nieuwe code de bestaande functies niet heeft aangetast.

Probleem:

Vaak worden deze tests verward of onjuist toegepast, waardoor tijd verloren gaat of belangrijke controles worden overgeslagen. Er zijn ook vragen over hoe en volgens welke criteria testsets voor smoke en regressie moeten worden samengesteld.

Oplossing:

Smoke-tests omvatten alleen de kritische functionaliteit, zonder welke het systeem niet functioneert
Smoke-tests worden na elke deployment naar de testomgeving uitgevoerd
Regressietests zijn een breder scala aan controles die wijzigingen, aangrenzende gebieden en de belangrijkste functionaliteit dekken
Regresstest wordt uitgevoerd na aanpassingen en bugfixes, vaak voor de release

Belangrijke kenmerken:

Smoke controleert de 'levensvatbaarheid' van het product - helpt snel te begrijpen of verder testen zinvol is
Regressie onthult bugs die verband houden met al gerealiseerde functionaliteit
Beide testtypes dienen duidelijk te worden gescheiden en gedocumenteerd

Vragen met een val.

Valt smoke-testing onder regressietesting?

Nee, smoke is een subset van speciale 'critieke' testen, terwijl regressie zowel nieuwe als belangrijke oude controles omvat.

Is het voldoende om alleen smoke-tests uit te voeren voor de release?

Nee - dat is niet genoeg. Smoke geeft alleen aan dat alles "levend" is, maar garandeert niet dat er geen kritieke bugs in minder 'publieke' functionaliteit zijn.

Is het toegestaan om de samenstelling van smoke-tests bij elke release te veranderen?

Nee, de samenstelling van smoke blijft stabiel en verandert alleen bij radicale wijzigingen in het product.

Typische fouten en anti-patronen

Te veel onbelangrijke controles in smoke-tests opnemen
Smoke- en regressietests verwarren door ze in één run samen te voegen
Vergeten regressietests bij te werken bij wijziging van functionaliteit

Voorbeeld uit het leven

Negatief geval

Voor de release beperkt het team zich tot alleen smoke-tests, zonder regressietesten uit te voeren. Als gevolg hiervan worden bugs in minder zichtbare, maar belangrijke functies pas na de release ontdekt.

Voordelen:

Snelle testdoorlooptijd

Nadelen:

Hoge kans om ernstige bugs te missen
Toename van gebruikersverzoeken

Positief geval

Na elke deployment naar de testomgeving worden eerst smoke-tests uitgevoerd en daarna regressietests op de bijgewerkte scenario's. Ze documenteren de resultaten en passen de tests snel aan bij wijzigingen in het product.