После точечного исправления в модуле расчёта скидки какую проверку следует выполнить перед полным регрессионным набором?
Перед полным регрессионным набором уместно выполнить санити-тестирование — узкую проверку изменённой области и непосредственно связанных с ней сценариев. Если базовая функциональность после исправления работает ожидаемо, переходят к более широкому регрессионному тестированию; если нет, дальнейший запуск набора преждевременен.
Санити-тестирование сформировалось как практический способ быстро оценивать небольшие изменения без немедленного запуска всего дорогостоящего набора проверок. Оно решает проблему неэффективного расходования времени на регрессию, если исправление оказалось явно неработоспособным или затронуло базовую функцию.
Термин не имеет абсолютно одинаковой границы во всех командах. Поэтому в проекте заранее фиксируют, какие проверки считаются достаточными для конкретного типа изменения.
После локального исправления неизвестно, сохранилась ли работоспособность изменённого сценария и ближайших зависимостей. Немедленный полный регресс может занять много времени, а запуск только одного повторного теста дефекта не покажет, не нарушены ли связанные правила.
Если пропустить узкую проверку, команда рискует потратить ресурсы на полный набор при очевидно сломанной сборке. Если ограничиться слишком узким тестом, можно пропустить побочный эффект в соседней логике.
Санити-тестирование включает повторную проверку исправленного поведения и небольшой набор связанных сценариев: типичный случай, ключевые граничные условия, связанные расчёты и основные негативные варианты. Набор выбирают по области изменения и зависимостям, а не по фиксированному универсальному списку.
Критерий допуска к полному регрессу — успешное прохождение согласованного минимального набора без блокирующих ошибок. При падении проверки сборку не следует продвигать дальше: сначала анализируют результат, уточняют дефект или ошибку теста и принимают решение о доработке.
Санити-тестирование отличается от повторного тестирования: повторное тестирование отвечает на вопрос, устранён ли конкретный дефект, а санити проверяет узкую функциональную область после изменения. От полного регресса оно отличается масштабом, а от смоук-тестирования — целью: смоук обычно оценивает общую жизнеспособность сборки перед дальнейшим тестированием, тогда как санити сосредоточено на конкретном изменении.
Основной компромисс — скорость против покрытия. Слишком маленький набор превращает санити в формальное подтверждение одного результата, а слишком большой — фактически в частичный регресс, теряющий смысл быстрого фильтра.
Команда исправила округление скидки для заказов с несколькими товарами. Были рассмотрены три варианта: сразу запустить полный регресс, проверить только исходный дефект или выполнить санити-набор для расчёта скидки, округления, нулевой скидки и заказа с одним товаром.
Полный регресс давал наибольшее покрытие, но задерживал обратную связь. Проверка только исходного дефекта была бы быстрой, однако не учитывала связанные варианты. Выбрали санити-набор: он быстро подтвердил работоспособность изменённой области, после чего запустили полный регресс для поиска побочных эффектов.
Такое решение не доказывает отсутствие дефектов. Оно лишь снижает вероятность тратить время на широкую проверку заведомо непригодной сборки.
1. Чем санити-тестирование отличается от повторного тестирования исправленного дефекта?
Повторное тестирование проверяет конкретный ранее зафиксированный дефект по условиям, при которых он проявлялся. Санити-тестирование шире: оно оценивает исправленную область и ближайшие связанные сценарии, чтобы понять, имеет ли смысл продолжать тестирование.
Они могут выполняться вместе, но не являются синонимами. Успешное повторное тестирование само по себе не подтверждает, что изменение не повредило соседнюю функциональность.
2. Можно ли считать санити-тестирование сокращённым регрессионным тестированием?
По масштабу оно обычно уже, но различие не только количественное. Регрессия системно проверяет, что изменения не нарушили ранее работавшую функциональность в широком охвате, а санити быстро оценивает конкретную область после небольшого изменения.
Санити может быть входным фильтром перед регрессией, но не заменяет её, если изменение существенно, затрагивает общие компоненты или имеет высокий риск.
3. Что делать, если санити-тестирование не прошло?
Не следует автоматически запускать полный регресс. Сначала нужно определить причину: новое проявление дефекта, неполное исправление, ошибка тестовых данных, нестабильность окружения или некорректное ожидание.
Если проблема относится к продукту, сборку возвращают на доработку либо фиксируют решение о контролируемом продолжении с явным риском. Если проблема в тесте или окружении, её устраняют и повторяют проверку; результат и основание для допуска должны быть зафиксированы.