Odpowiedź.

Strategia wyboru między testowaniem ręcznym a automatycznym jest określana przez wiele czynników, w tym koszty, cele, stabilność funkcjonalności oraz dostępne zasoby ludzkie.

Historia zagadnienia: Na początku automatyzacji uważano, że celem powinno być pokrycie 100% testów automatycznie. Z czasem zaczęto rozumieć, że nie wszystkie kontrole należy automatyzować - część zadań jest prostsza, szybsza i tańsza do wykonania ręcznie.

Problem: Automatyzacja przynosi korzyści tylko w przypadku częstego i powtarzającego się uruchamiania tych samych scenariuszy. Jednorazowe, szybko zmieniające się lub subiektywne (wizualne, UX) kontrole są znacznie łatwiejsze do przeprowadzenia w trybie ręcznym. Próby "automatyzacji wszystkiego" szybko rozdmuchują budżet, a korzyści znikają.

Rozwiązanie: Przede wszystkim warto automatyzować to, co:

Jest wykonywane często
Jest stabilne w realizacji
Jest krytyczne dla biznesu

Testowanie ręczne jest aktualne dla:

Kreatywnych, badawczych scenariuszy
Jednorazowych lub szybko przestarzałych zadań
Sprawdzania elementów trudnych do automatyzacji (drag&drop, animacje)

Kluczowe cechy:

Analiza ROI (zwrotu z inwestycji w automatyzację) dla każdej klasy zadań
Zaangażowanie ekspertów z QA przy formułowaniu strategii
Priorytetyzacja krytycznych i regresyjnych funkcjonalności

Pytania pułapki.

Czy można zyskać, automatyzując wszystkie testy w projekcie?

Nie, ponieważ wiele testów zmieni się zanim zdążą zwrócić zainwestowany wysiłek, a utrzymanie automatyzacji będzie droższe niż wykonanie tych samych testów ręcznie.

Czy testowanie ręczne może być obowiązkowe przy wydaniu na produkcję?

Tak, ponieważ niektóre zadania (szczególnie związane z UI/UX i wizualnym regressem) są trudne lub niemożliwe do odpowiedniej automatyzacji.

Czy korzystne jest automatyzowanie testów "jednorazowych"/badawczych zadań?

Nie, automatyzacja wymaga czasu i zasobów, które nie zwrócą się przy jednorazowym lub rzadko używanym teście.

Typowe błędy i antywzorce

Automatyzacja "wszystkiego na raz",
Ignorowanie opinii testerów ręcznych,
Brak analizy kosztów i korzyści (ROI)

Przykład z życia

Negatywny przypadek

Zespół postanowił zautomatyzować wszystkie ręczne testy, w tym kontrole cross-browser na nietypowych urządzeniach i wizualną kontrolę layoutów. W rezultacie w ciągu kilku miesięcy wydano setki godzin na utrzymanie nieaktualnych testów.

Zalety:

Wysoki procent pokrycia testami automatycznymi

Wady:

Wzrost kosztów utrzymania
Trudności z wydaniami
Część błędów umyka

Pozytywny przypadek

Zespół wspólnie z menedżerem stworzył listę krytycznych dla biznesu scenariuszy (rejestracja, sprawdzanie płatności), które stabilnie zautomatyzowano; wszystko inne jest testowane ręcznie lub częściowo (z użyciem testów eksploracyjnych).