Respuesta.

Las pruebas no funcionales son la verificación de un sistema no solo desde la perspectiva de la ejecución de funciones comerciales, sino también en parámetros de usabilidad, rendimiento, seguridad, adaptabilidad y accesibilidad.

Historia de la pregunta: Si en los primeros días del testing se hacía hincapié exclusivamente en "funciona/no funciona", con el aumento de la competencia y las demandas de calidad del producto se comenzó a prestar atención a los parámetros auxiliares: comodidad, velocidad de trabajo, accesibilidad para personas con discapacidades. Esto influyó en el desarrollo de las pruebas no funcionales.

Problema: Los testers a menudo no saben cómo formalizar y evaluar los parámetros no funcionales manualmente. Surge la subjetividad: lo que es cómodo para un usuario puede no serlo para otro. La falta de listas de verificación claras y criterios solo agrava la situación.

Solución: El tester debe:

Utilizar estándares y recomendaciones, como WCAG para la accesibilidad o ISO 9241 para la usabilidad.
Emplear herramientas especiales (por ejemplo, un analizador de contraste para verificar el contraste entre el texto y el fondo, un simulador de lector de pantalla para verificar la accesibilidad).
Desarrollar listas de verificación para evaluar la experiencia del usuario, la navegación, la legibilidad de los elementos, etc.
Involucrar a usuarios reales con diferentes experiencias para pruebas de usabilidad.

Características clave:

Trabajar con "escenarios vivos" de usuarios, y no solo con casos de prueba preparados.
La necesidad de documentar los problemas no funcionales encontrados de la manera más específica posible.
La habilidad para utilizar herramientas externas para el análisis (por ejemplo, Lighthouse, Axe, NVDA, JAWS, Color Contrast Analyzer).

Preguntas capciosas.

¿Se puede prescindir de las pruebas manuales de usabilidad si se utilizan pruebas automatizadas?

No. La experiencia del usuario es muy subjetiva, y muchos aspectos solo pueden ser descubiertos a través de un análisis manual o al recurrir a usuarios reales.

¿Es suficiente verificar la accesibilidad solo con escáneres automáticos?

No. Las verificaciones automáticas generalmente solo detectan el 20-30% de los problemas. Los demás solo se pueden encontrar a través de la interacción manual: pruebas de navegación con teclado, lectura con lector de pantalla, etc.

¿Es necesario probar la accesibilidad si entre los clientes no hay personas con discapacidades?

Sí. La legislación, los estándares de calidad y las perspectivas de desarrollo del producto exigen una alta accesibilidad. Además, algunos usuarios pueden tener limitaciones temporales (por ejemplo, lesiones).

Errores típicos y anti-patrones

Desestimar los requisitos no funcionales debido a la subestimación de su impacto.
Documentar los resultados sin referencias a estándares.
Describir los errores con frases como "incomodo" o "incómodo" sin especificidad.

Ejemplo de la vida real

Caso negativo

El tester no prestó atención al bajo contraste en la etiqueta del botón: los usuarios con discapacidades visuales no veían el texto.

Pros:

Ahorro de tiempo en las pruebas.

Contras:

Los usuarios se quejaron, aumentó el número de consultas al soporte, pérdidas de reputación.

Caso positivo

El tester utilizó una herramienta gratuita para verificar la contraposición y elaboró una lista de verificación de accesibilidad.