Краткий ответ

Обратное давление ограничивает скорость производителя скоростью, с которой потребитель способен обрабатывать данные. Когда буфер достигает заданной границы, производитель блокируется, замедляется или получает сигнал временно прекратить отправку.

Это переносит перегрузку к источнику вместо бесконтрольного накопления элементов в памяти. Цена подхода — возможное увеличение задержки, снижение пропускной способности производителя или необходимость отклонять часть данных.

Исторический контекст

В потоковых системах данные часто проходят через несколько этапов с разной производительностью. Без управления потоком быстрый этап продолжает принимать данные, даже когда следующий этап не успевает их обрабатывать.

Изначально проблема решалась увеличением буферов, но это лишь откладывало отказ: память постепенно исчерпывалась, после чего возникали паузы сборки мусора, ошибки выделения памяти или аварийное завершение процесса. Обратное давление стало способом согласовать скорость источника и обработчика.

Постановка проблемы

Пусть производитель создаёт 10 000 элементов в секунду, а потребитель обрабатывает только 8 000. Разница в 2 000 элементов в секунду будет накапливаться в очереди, поэтому даже кратковременный дисбаланс может превратиться в исчерпание памяти.

Если просто увеличить буфер, система дольше сохраняет внешнюю работоспособность, но задержка обработки растёт. Если отказаться от ограничения, перегрузка одного этапа может распространиться на весь процесс и вызвать каскадное ухудшение.

Подробное решение

Обычно между этапами задают ограниченный буфер. Пока в нём есть место, производитель передаёт элементы с обычной скоростью. При заполнении буфера включается обратный сигнал: операция отправки приостанавливается, замедляется или завершается отказом.

Так система поддерживает ограниченное потребление памяти и делает перегрузку наблюдаемой. Она не устраняет дефицит производительности потребителя, а управляемо распространяет его на предыдущий этап.

Есть несколько вариантов поведения при заполненном буфере:

Ожидание сохраняет все данные, но увеличивает задержку и может занять рабочие потоки.
Отклонение защищает систему, но требует от вызывающей стороны повторной попытки или обработки потери.
Выборочное отбрасывание подходит для устаревающих или менее важных событий, однако нарушает полноту потока.
Замедление источника безопаснее для систем, где производитель способен регулировать скорость создания данных.

Граница буфера должна учитывать не только среднюю скорость, но и допустимую задержку, размер элемента и длительность кратковременных всплесков. Слишком маленький буфер вызывает частое торможение, а слишком большой скрывает проблему и увеличивает время ожидания.

Обратное давление должно распространяться по всей цепочке. Если промежуточный этап продолжает принимать данные без ограничений, перегрузка просто перемещается к следующему буферу. В распределённой системе также нужны тайм-ауты, лимиты очередей и метрики заполнения, иначе зависший потребитель может удерживать ресурсы неопределённо долго.

Ситуация из практики

Сервис принимает события от нескольких источников и передаёт их в этап обогащения. Во время всплесков этап обогащения работает медленнее, а неограниченная очередь в памяти приводит к росту задержки и перезапускам экземпляров.

Рассматривались три варианта. Увеличение памяти давало больше времени до отказа, но не устраняло накопление. Полное отбрасывание событий защищало экземпляры, однако приводило к неприемлемой потере данных. Неограниченные повторные попытки усиливали нагрузку после восстановления потребителя.

Выбрали ограниченный буфер с обратным давлением, отдельным лимитом времени ожидания и политикой отклонения только для событий низкого приоритета. Для критичных событий производитель замедлялся, а заполнение буфера и доля отклонений попали в мониторинг. В результате память перестала расти без границ, а система стала предсказуемо снижать пропускную способность вместо аварийного завершения.

Что кандидаты часто упускают

Чем обратное давление отличается от обычной очереди?

Обычная очередь только временно сглаживает разницу скоростей. Обратное давление дополнительно сообщает предыдущему этапу, что дальнейший приём нужно ограничить. Поэтому ключевой признак — наличие управляемой реакции производителя на заполнение буфера, а не сам факт существования очереди.

Почему обратное давление не гарантирует отсутствие потерь?

Оно контролирует скорость потока, но не создаёт дополнительную производительность и не гарантирует успешную доставку. Если источник нельзя замедлить, а буфер заполнен, системе придётся выбирать между ожиданием, отказом или отбрасыванием данных. Гарантии потерь определяются отдельной политикой хранения, подтверждений и повторной доставки.

Как обнаружить, что обратное давление настроено неправильно?

Нужно смотреть не только на среднюю пропускную способность, но и на заполнение буфера, время ожидания производителя, долю отклонений, задержку от поступления до обработки и потребление памяти. Постоянно заполненный буфер означает устойчивый дефицит производительности потребителя, а почти всегда пустой буфер при жалобах на задержку может указывать на слишком маленькие партии или задержки на другом этапе. Настройка должна соответствовать целевому SLO по задержке и допустимой потере данных.