Почему circuit breaker может преждевременно открыть цепь при малом числе запросов?
При малом числе запросов процент ошибок статистически нестабилен: одна-две неудачи могут дать высокий показатель отказов, хотя зависимость в целом работает нормально. Поэтому circuit breaker должен учитывать не только долю ошибок, но и минимальный объём наблюдений или минимальную длительность окна. Иначе редкий трафик вызывает ложное размыкание цепи и необоснованно прерывает нормальные вызовы.
Circuit breaker появился как средство защиты распределённых систем от каскадных отказов. Если зависимость отвечает медленно или с ошибками, постоянные попытки вызова могут занять потоки, соединения и очереди вызывающего сервиса, после чего отказ распространится по цепочке компонентов.
Размыкание цепи временно прекращает вызовы проблемной зависимости. Это снижает нагрузку на неё, освобождает ресурсы вызывающего сервиса и даёт системе возможность восстановиться.
Предположим, цепь открывается при доле ошибок выше 50 процентов. При двух запросах и одном случайном отказе показатель уже равен 50 процентам, а при одном запросе и одном отказе — 100 процентам. Для низконагруженного метода такая выборка не доказывает системную неисправность зависимости.
Ложное открытие цепи приводит к отказам там, где запросы могли бы успешно выполниться. Пользователь получает резервный ответ или ошибку, хотя зависимость доступна; кроме того, редкие операции могут долго оставаться недоступными из-за повторных циклов открытия и проверки.
Обратная ошибка также опасна: слишком большое минимальное число запросов задерживает реакцию на реальный отказ низконагруженной зависимости. В результате критерий должен учитывать не только статистическую надёжность оценки, но и стоимость промедления.
Надёжная схема обычно разделяет два условия: процент ошибок оценивается только после накопления минимального числа запросов, а абсолютное число отказов может служить дополнительным защитным порогом. Например, цепь не рассматривает процентный порог, пока в скользящем окне не набралось достаточно наблюдений.
Скользящее окно может быть временным или основанным на количестве последних запросов. Временное окно лучше отражает актуальное состояние, но при редком трафике всё равно может содержать слишком мало событий. Окно по количеству запросов даёт более сопоставимую статистику, однако при низкой нагрузке решение может приниматься медленнее.
Важно определить, какие события считаются ошибками. Обычно учитываются сетевые сбои, тайм-ауты и ответы, означающие недоступность зависимости; ошибки валидации запроса не должны автоматически открывать цепь, поскольку они не свидетельствуют о неисправности зависимости. Если классификация неверна, breaker будет реагировать на ошибки самого клиента.
После открытия цепи вызовы блокируются или быстро завершаются отказом. Через заданный интервал выполняются ограниченные пробные запросы: успешные результаты позволяют закрыть цепь, а новые ошибки удерживают её открытой. Разрешение большого количества пробных запросов одновременно может снова перегрузить восстанавливающуюся зависимость.
Порог, размер окна и время ожидания являются компромиссом. Агрессивные параметры быстрее защищают систему от каскада, но увеличивают ложные отказы; консервативные параметры сохраняют доступность при случайных сбоях, но медленнее изолируют настоящую проблему. Эти параметры нужно оценивать по метрикам конкретного вызова, его критичности и допустимой задержке восстановления.
Сервис заказов редко обращался к внешнему сервису проверки адресов. Из-за кратковременного сетевого сбоя один из двух запросов завершился тайм-аутом, после чего процентный порог открыл цепь. Следующие заказы начали получать отказ проверки, хотя внешний сервис уже восстановился.
Рассматривались три варианта. Полностью убрать circuit breaker было просто, но это оставляло сервис без защиты при настоящем массовом отказе. Открывать цепь после фиксированного числа ошибок было понятнее, однако порог зависел бы от нагрузки: для редкого метода он реагировал бы слишком рано, а для высоконагруженного — слишком поздно.
Выбрали комбинированную политику: процент ошибок учитывался только после минимального числа наблюдений, а серия тайм-аутов дополнительно могла открыть цепь независимо от процента. Восстановление выполнялось ограниченным числом пробных запросов.
После изменения редкие одиночные сбои перестали блокировать проверку адресов, а массовые тайм-ауты по-прежнему быстро изолировались. Параметры контролировали по числу ложных открытий, длительности отказа и нагрузке на внешнюю зависимость, а не только по общему проценту ошибок.
Минимальный объём выборки снижает риск решения по одному событию, но не гарантирует корректность оценки. Если запросы неравноценны по стоимости, типу операции или маршруту, несколько одинаковых успешных запросов могут скрыть отказ конкретного класса операций.
Поэтому дополнительно проверяют структуру трафика, типы ошибок, задержку и распределение запросов по ключевым маршрутам. Иногда нужны отдельные окна или отдельные breakers для разных зависимостей и операций, иначе успешный массовый трафик замаскирует неисправность критичного редкого маршрута.
Восстанавливающаяся зависимость может получить внезапный всплеск нагрузки. Её состояние ухудшится, пробные запросы снова начнут завершаться ошибками, а восстановление затянется или превратится в колебание между открытым и закрытым состояниями.
Обычно разрешают ограниченное число пробных вызовов, применяют задержку и ограничивают их параллелизм. Размер этого допуска должен соответствовать способности зависимости обработать проверочную нагрузку; универсального значения нет.
Общий breaker объединяет статистику нескольких операций. Частый некритичный маршрут может давать много успешных запросов и скрывать отказ редкого, но обязательного маршрута. Обратная ситуация тоже возможна: редкая операция с особенностями валидации поднимет общий процент ошибок и отключит исправные вызовы.
Границу статистики выбирают по независимости отказов и одинаковости политики восстановления. Если операции имеют разные причины ошибок, тайм-ауты или требования к доступности, им обычно нужны раздельные показатели и раздельные цепи; объединение оправдано только при общей зависимости отказа и сопоставимом поведении.