Antwoord.

Niet-functioneel testen is het valideren van een systeem, niet alleen op basis van het uitvoeren van bedrijfsfuncties, maar ook op parameters zoals bruikbaarheid (usability), prestaties, beveiliging, aanpasbaarheid en toegankelijkheid (accessibility).

Geschiedenis van de vraag: In het begin van de ontwikkeling van testen lag de focus uitsluitend op "werkt / werkt niet", maar met de groeiende concurrentie en eisen aan productkwaliteit werd er ook aandacht besteed aan aanvullende parameters zoals gemak van gebruik, snelheid van werking en toegankelijkheid voor mensen met een beperking. Dit heeft invloed gehad op de ontwikkeling van niet-functioneel testen.

Probleem: Testers weten vaak niet hoe ze niet-functionele parameters handmatig moeten formaliseren en evalueren. Dit leidt tot subjectiviteit: wat voor de ene gebruiker handig is, kan voor de andere ongemakkelijk zijn. Het gebrek aan duidelijke checklists en criteria verergert de situatie alleen maar.

Oplossing: De tester moet:

Standaarden en aanbevelingen gebruiken, zoals WCAG voor toegankelijkheid of ISO 9241 voor bruikbaarheid.
Speciale tools toepassen (bijvoorbeeld een kleurcontrastoetsenaar om de contrastverhouding tussen tekst en achtergrond te controleren, een screen-reader simulator om toegankelijkheid te testen).
Checklists ontwikkelen voor het controleren van de gebruikerservaring, navigatie, leesbaarheid van elementen, enz.
Echte gebruikers met verschillende ervaringen betrekken voor gebruikerstests.

Belangrijke kenmerken:

Werken met "levende gebruikersscenario's" en niet alleen met kant-en-klare testcases.
De noodzaak om gevonden niet-functionele problemen zo concreet mogelijk te documenteren.
Het vermogen om externe tools voor analyse te gebruiken (zoals Lighthouse, Axe, NVDA, JAWS, Color Contrast Analyzer).

Misleidende vragen.

Kan men zonder handmatig testen van usability als er geautomatiseerde tests worden gebruikt?

Nee. De gebruikerservaring is zeer subjectief, en veel aspecten kunnen alleen worden vastgesteld door handmatige analyse of door echte gebruikers te betrekken.

Is het voldoende om toegankelijkheid (accessibility) alleen met automatische scanners te controleren?

Nee. Automatische controles ontdekken doorgaans slechts 20-30% van de problemen. De overige moeten worden vastgesteld door handmatig interactie: toetsenbordnavigatie, screen-reader checks, enz.

Moet toegankelijkheid getest worden als er onder de klanten geen mensen met een handicap zijn?

Ja. Wetgeving, kwaliteitsstandaarden en de toekomst van productontwikkeling vereisen hoge toegankelijkheid. Bovendien kan een deel van de gebruikers tijdelijke beperkingen hebben (bijvoorbeeld door verwondingen).

Typische fouten en anti-patterns

Het negeren van niet-functionele vereisten door de impact ervan te onderschatten.
Documenteren van resultaten zonder verwijzingen naar standaarden.
Het beschrijven van bugs met zinnen als "ongemakkelijk" of "onhandig" zonder specificiteit.

Voorbeeld uit het leven

Negatief geval

De tester lette niet op de lage contrastverhouding van de ondertitel bij de knop: gebruikers met kleurwaarnemingsstoornissen konden de tekst niet zien.

Voordelen:

Tijdswinst bij het testen.

Nadelen:

Gebruikers klaagden, het aantal ondersteuningsverzoeken nam toe, reputatieschade.

Positief geval

De tester gebruikte een gratis tool voor het controleren van de contrastverhouding en stelde een checklist voor toegankelijkheid op.