Как в распределённой системе отличить отказ узла от временной потери связи?
Надёжно отличить отказ узла от временной потери связи в полностью асинхронной сети невозможно. Система может лишь вычислять вероятность отказа по тайм-аутам, heartbeat-сообщениям, арендам или косвенным признакам, поэтому результат обычно формулируется как подозрение на отказ.
Практический механизм должен учитывать цену ошибки: ложное объявление отказа может вызвать лишнее переключение лидера, потерю доступности или конфликтующие действия, а слишком осторожное ожидание увеличивает задержку восстановления.
Распределённые системы используют обнаружение отказов, потому что узел может перестать отвечать, а остальные узлы должны принять решение без доступа к его внутреннему состоянию. Простые централизованные системы могли напрямую проверить процесс или оборудование, но в распределённой среде наблюдатель видит только сообщения и сетевые тайм-ауты.
Проблема особенно важна при сетевых разделениях: узел может работать исправно, но быть недоступным для конкретной группы. Поэтому появились модели failure detector, heartbeat-протоколы, аренды и механизмы кворумного принятия решений.
Пусть узел не отвечает на запрос в течение заданного времени. Это может означать завершение процесса, перегрузку, остановку сборщика мусора, потерю маршрута, сетевой раздел или временную задержку сообщения.
Если немедленно считать узел отказавшим, система рискует назначить нового лидера, запустить повторную обработку или удалить рабочий узел из кластера. Если ждать бесконечно, отказ действительно недоступного узла будет блокировать прогресс.
Наблюдений только по сети недостаточно: одинаковый набор сообщений может быть получен как при остановке узла, так и при задержке всех сообщений между ним и наблюдателем.
Система применяет детектор отказов. Наблюдатель периодически отправляет heartbeat или проверяет наличие ответов на обычные операции, а после истечения тайм-аута переводит узел в состояние подозрения. Это не доказательство отказа, а локальное решение, основанное на выбранной модели времени и допустимой задержке.
Для снижения числа ложных срабатываний используют адаптивные тайм-ауты, несколько независимых наблюдателей, проверку через другие узлы и статистику задержек. Однако ни один из этих методов не превращает подозрение в математически достоверный факт при неограниченных задержках сети.
Аренда добавляет ограниченное время действия права. Например, лидер сохраняет роль только пока периодически продлевает аренду; после истечения срока другие узлы могут считать его право недействительным. Для безопасности часы и допустимые задержки должны быть согласованы с моделью системы, иначе старый лидер может продолжить операции.
Надёжные протоколы не должны полагаться только на мнение одного детектора. Решение о смене лидера или продолжении записи обычно принимается через кворум и правила консенсуса. Так одна изолированная группа не сможет единолично создать новое согласованное состояние.
Основные компромиссы таковы:
В кластере обработки платежей лидер перестал отвечать части узлов. Рассматривались три варианта. Немедленная смена лидера давала минимальную задержку восстановления, но могла создать двух лидеров при сетевом разделении. Ожидание фиксированного длительного тайм-аута снижало риск ложной смены, но надолго блокировало операции. Проверка доступности через один дополнительный узел была дешевле, однако не защищала от разделения, при котором обе группы видят разные картины.
Выбранное решение использовало подозрение по адаптивному тайм-ауту, но смена лидера разрешалась только группе с кворумом. Дополнительно право лидера ограничивалось сроком аренды, а запись требовала подтверждения текущего состояния кластера. В результате временные задержки чаще приводили лишь к краткому статусу подозрения, а реальное переключение выполнялось только при наличии достаточных оснований для согласованного решения.
Ответ: Нет. Оно только уменьшает вероятность того, что нормальная задержка превысит порог. Если задержка сети не ограничена заранее, всегда возможен период, дольше любого выбранного тайм-аута. Увеличение порога также замедляет обнаружение настоящего отказа, поэтому это компромисс, а не полное решение.
Ответ: Само по себе подозрение не должно немедленно менять состояние данных. Если оба узла могут независимо назначить себя лидерами, возникает риск расщепления кластера и конфликтующих записей. Безопасный протокол связывает смену роли с кворумом, уникальным поколением или термином лидера и отклоняет операции от устаревшей роли.
Ответ: Heartbeat сообщает, что узел недавно отвечал, но не обязательно ограничивает его право выполнять действия после потери связи. Аренда задаёт срок действия права: после его истечения узел должен считаться неуполномоченным, даже если он продолжает работать локально. Это полезно для защиты от старого лидера, но требует аккуратной работы с часами, задержками продления и границами допустимой погрешности времени.