답변.

질문의 역사:

테스트의 충분성 문제는 프로젝트가 커지고 시간은 부족해지면서 나타났습니다. 자원을 효율적으로 사용하기 위해 테스트를 중단해야 할 시점을 이해하는 것이 필요해졌습니다. 테스트 담당자는 비즈니스에 "충분히" 테스트가 완료되었고 위험이 최소화되었음을 설명해야 합니다.

문제:

수동 테스트는 절대적으로 완전하게 수행할 수 없습니다. 항상 시간과 자원에 제한이 있기 때문입니다. 부족한 커버리지는 결함을 놓치게 하고, 과도한 커버리지는 예산 초과 및 지연을 초래합니다.

해결책:

• 커버리지 메트릭스 사용: 통과된 요구사항의 비율, 코드 커버리지(접근 가능할 경우), 고유 시나리오/모듈 비율.
• 테스트 케이스가 요구사항에 맞는지를 확인하기 위해 추적성 매트릭스(tracability matrix) 관행 도입.
• 팀과 함께 테스트 케이스 및 결함에 대한 공동 검토 수행.

핵심 사항:

• 요구사항, 테스트 케이스 및 기능 모듈 간의 조정.
• 우선 순위를 정하기 위한 위험 평가.
• 테스트가 완료된 이유를 명확히 주장할 수 있는 능력.

함정이 있는 질문.

위험을 고려하지 않고 테스트 케이스의 커버리지만을 기준으로 삼을 수 있나요?

아니요. 비즈니스에 가장 중요한 영역이 무엇인지 기능 우선 순위를 고려해야 합니다.

테스트 케이스의 수가 항상 커버리지의 질을 나타내나요?

아니요. 근거 없는 또는 중복된 테스트 케이스가 많다고 해서 높은 커버리지의 지표가 아닙니다.

탐색적 테스트를 커버리지 메트릭에 포함해야 하나요?

네, 반드시 포함해야 합니다. 탐색적 테스트는 공식적인 테스트 케이스가 발견하지 못한 예기치 않은 결함을 드러내며, 전체 커버리지의 일부가 되어야 합니다.

일반적인 실수 및 안티 패턴

• 중요한 리스크 영역을 무시하고 형식적인 지표에만 초점을 맞춤.
• 커버리지의 결점을 숨기는 것(미고려 요구사항, 미처리 시나리오).
• "모두 커버하기"에 대한 욕심으로 마감 기한이 지연됨.

실제 사례

부정적인 사례

테스트 담당자는 결함의 영향 영역이나 사용자 시나리오를 고려하지 않고 단순히 테스트 케이스 수로 커버리지를 평가합니다.

장점:

• 깔끔한 보고서를 쉽게 제시할 수 있습니다.

단점:

• 크리티컬한 결함이 시야에서 벗어날 수 있습니다.

긍정적인 사례

테스트 담당자는 분석가와 함께 위험을 명확히 하고, 커버리지를 조정하며 가장 중요한 구성 요소에 노력을 집중합니다.

장점:

• 프로덕션에서 심각한 결함이 발생할 가능성 최소화.
• 팀 리더에게 테스트 종료 시간을 정당화할 수 있는 기회.

단점:

• 팀 내 추가 조율이 필요합니다.