Краткий ответ

Обратное давление — это механизм, при котором медленный потребитель ограничивает скорость поступления данных от производителя. Он предотвращает неограниченный рост очередей и исчерпание памяти, но может увеличить задержку, снизить пропускную способность или привести к потере части данных — в зависимости от выбранной политики.

Исторический контекст

Потоковые системы часто строились по модели, где производитель безусловно передаёт данные, а потребитель обрабатывает их по мере возможности. При кратковременных всплесках это удобно, но при устойчивом дисбалансе очередь начинает расти без ограничения.

Подход с обратным давлением появился как общий способ согласовать независимые скорости обработки в асинхронных и реактивных системах. Его задача — сделать перегрузку управляемой: не скрывать проблему за бесконечным буфером, а передавать информацию о нагрузке обратно источнику.

Постановка проблемы

Пусть производитель создаёт 50 тысяч событий в секунду, а потребитель стабильно обрабатывает только 20 тысяч. Разница в 30 тысяч событий в секунду накапливается в очереди. Если очередь ограничена только доступной памятью, система в итоге столкнётся с задержками, сборкой мусора, ошибками нехватки памяти или аварийным завершением.

Если бездумно ограничить входной поток, можно нарушить бизнес-требования. Для финансовых операций потеря события недопустима, тогда как для телеметрии допустимо отбросить часть устаревших измерений. Поэтому обратное давление должно учитывать семантику данных, порядок обработки и допустимую задержку.

Подробное решение

Потребитель или промежуточный компонент сообщает, сколько элементов он готов принять либо обработать. Производитель уменьшает скорость публикации, приостанавливает отправку или снижает размер пакетов. Когда потребитель освобождает ёмкость, разрешённый объём передачи увеличивается.

Обычно в системе есть ограниченный буфер. Пока он не заполнен, производитель может работать быстрее потребителя в пределах заданной ёмкости. После заполнения применяют одну из политик:

Блокировка или ожидание — производитель ждёт освобождения места. Данные сохраняются, но задержка распространяется вверх по цепочке и может занять потоки или соединения.
Отказ публикации — новая запись отклоняется. Это позволяет быстро сигнализировать о перегрузке, но требует повторной попытки, маршрутизации в резервное хранилище или обработки ошибки.
Отбрасывание данных — удаляются новые, старые или наименее приоритетные элементы. Подходит только для данных, чья потеря допустима.
Масштабирование потребителей — добавляются обработчики, если нагрузка распараллеливается и узким местом не является внешняя зависимость.
Замедление источника — клиентам или upstream-сервисам возвращается сигнал снизить частоту запросов. Это эффективнее локального буфера, поскольку уменьшает нагрузку на всю цепочку.

Обратное давление не равно ограничению частоты запросов. Ограничение частоты задаёт допустимый темп заранее, а обратное давление реагирует на фактическую доступную ёмкость потребителя. Эти механизмы могут использоваться вместе.

Важно определить границы распространения давления. Если один медленный потребитель блокирует общий поток, он может снизить доступность независимых потребителей. Для изоляции применяют отдельные очереди, приоритеты, независимые лимиты и ограниченные буферы. Однако изоляция повышает сложность и может увеличить суммарное потребление ресурсов.

Нельзя считать систему устойчивой только потому, что очередь ограничена. Нужно наблюдать размер очереди, время ожидания, долю отклонённых или потерянных элементов, скорость потребления и причину замедления. Если потребитель медленный из-за базы данных или внешнего сервиса, простое увеличение числа обработчиков способно усилить перегрузку зависимости.

Ситуация из практики

Сервис принимает события от устройств и передаёт их в обработку. Ночью часть обработчиков стала медленнее из-за аналитических запросов к общей базе данных. При неограниченной очереди задержка выросла до нескольких часов, а затем процесс начал завершаться из-за нехватки памяти.

Рассматривались три варианта. Увеличение очереди временно сглаживало пики, но не решало устойчивый дисбаланс и повышало риск аварии. Безусловное масштабирование обработчиков увеличивало конкуренцию за базу данных и ухудшало ситуацию. Отбрасывание событий уменьшало нагрузку, но было неприемлемо для аварийных сигналов.

Выбрали ограниченный буфер с обратным давлением, раздельные очереди для аварийных и обычных событий и независимые лимиты для потребителей. Для обычной телеметрии разрешили удалять самые старые элементы при переполнении, а для аварийных сигналов — сохранять их в надёжном хранилище и временно отклонять новые подключения.

В результате память перестала расти без ограничений, критические события сохранялись, а деградация стала видимой через метрики задержки и отклонений. Цена решения — возможная потеря части телеметрии и более сложная маршрутизация потоков.

Что кандидаты часто упускают

Вопрос: Что произойдёт, если обратное давление реализовано блокировкой общего рабочего потока?

Ответ: Медленный потребитель может занять поток, который обслуживает другие операции: подтверждения, таймеры, обработку ошибок или независимые очереди. Тогда локальная задержка превращается в каскадную деградацию. Для предотвращения этого используют ограниченные пулы, раздельные контуры обработки и явные тайм-ауты, но слишком агрессивные тайм-ауты могут привести к повторной доставке или потере результата.
Вопрос: Почему увеличение числа потребителей не всегда устраняет перегрузку?

Ответ: Масштабирование помогает только при наличии параллелизма и свободной ёмкости ниже по цепочке. Если все обработчики обращаются к одной базе данных, внешнему API или разделяемому ресурсу, они лишь увеличивают конкуренцию и очередь уже на этом ресурсе. Перед масштабированием нужно определить фактическое узкое место и проверить, сохраняются ли порядок, идемпотентность и ограничения пропускной способности зависимости.
Вопрос: Как выбрать между ожиданием, отклонением и потерей элементов при заполненном буфере?

Ответ: Выбор определяется бизнес-семантикой и способом восстановления. Ожидание подходит для данных, которые нельзя терять, если система способна выдержать рост задержки; отклонение — когда отправитель умеет повторить операцию или перенести её; потеря — только когда данные избыточны, устаревают или могут быть агрегированы. Нельзя выбирать политику только по критерию максимальной пропускной способности: нужно оценить порядок, повторную обработку, допустимую задержку и последствия утраты элемента.