Краткий ответ

Генератор — это одноразовый итератор с изменяемым состоянием. Второй потребитель увидит только те элементы, которые ещё не были извлечены первым; после полного исчерпания генератора он не получит ни одного элемента.

Исторический контекст

Итераторы и генераторы появились как способ последовательно обрабатывать данные без обязательного создания всей коллекции в памяти. Такой подход особенно важен для больших файлов, потоков данных и вычислений, результат которых может формироваться по мере необходимости.

Списковые включения решают задачу компактного построения готовой коллекции, а генераторные выражения позволяют отложить вычисление элементов до момента их запроса. Цена экономии памяти — состояние итератора и невозможность произвольно вернуться к уже обработанным элементам.

Постановка проблемы

Передача одного генератора нескольким функциям создаёт общий изменяемый источник данных. Если одна функция уже извлекла часть элементов, другая получит не исходную последовательность, а только оставшийся хвост.

Это может привести к пропущенным данным, пустому второму отчёту или различным результатам при повторном вызове. Ошибка особенно незаметна, если первый потребитель неявно обходит генератор внутри цикла, sum, list, any или другой операции.

Подробное решение

Генератор хранит текущую позицию выполнения. Каждый вызов next возобновляет его с этой позиции, выдаёт следующий результат и сдвигает состояние вперёд. Когда значения заканчиваются, генератор возбуждает StopIteration и остаётся исчерпанным.

items = (value * 2 for value in range(3))

first = list(items)
second = list(items)

print(first)   # [0, 2, 4]
print(second)  # []

Переменная items содержит не коллекцию, а объект-итератор. Операция list(items) полностью потребляет его, поэтому повторное преобразование получает пустой результат.

Это отличается от списка: список является итерируемым объектом, который обычно можно обходить многократно, создавая новый итератор для каждого обхода. Сам генератор повторно запустить нельзя; для повторной обработки нужно создать новый генератор, заранее материализовать данные в список либо явно организовать независимые копии.

itertools.tee может разделить один итератор на несколько, но это не бесплатная копия: элементы, которые опережающий потребитель уже получил, должны временно буферизоваться для отстающего. При большой разнице в скорости буфер может занять значительный объём памяти.

Главный компромисс таков: генератор экономит память и поддерживает потоковую обработку, но является одноразовым; список занимает память сразу, зато допускает повторный обход, индексацию и предсказуемое совместное чтение.

Ситуация из практики

Сервис читает большой журнал событий и должен одновременно построить статистику и сохранить отфильтрованные события. Разработчик передал один генератор сначала функции статистики, а затем функции сохранения. Первая функция полностью потребила генератор, поэтому вторая записала пустой результат.

Рассматривались три варианта:

Материализовать генератор в список — проще всего и позволяет многократно обходить данные, но может исчерпать память на большом журнале.
Применить itertools.tee — сохраняет ленивую обработку, однако требует буферизации разницы между потребителями и усложняет контроль памяти.
Обрабатывать события в одном проходе — статистика и сохранение выполняются в одном цикле; это минимизирует память, но сильнее связывает логику и требует аккуратно обрабатывать ошибки.

Было выбрано третье решение: данные действительно нужно было прочитать только один раз, а обе операции были независимыми действиями над каждым событием. В результате исчезло повторное чтение, память осталась ограниченной размером одного события, а поведение стало явно однопроходным.

Что кандидаты часто упускают

1. Вопрос: Можно ли вызвать iter для генератора и получить независимый повторный обход?

Ответ: Нет. Для генератора iter(generator) возвращает тот же объект генератора, а не новый независимый итератор. Поэтому новый цикл через этот объект продолжит чтение с текущего места, а не начнёт последовательность заново.

Независимый обход возможен только при повторном создании генератора из исходного источника, сохранении данных в повторно итерируемой коллекции или применении специального механизма разделения вроде itertools.tee с учётом его буферизации.

2. Вопрос: Что произойдёт, если один из потребителей остановится после нескольких элементов, а второй начнёт обход первым?

Ответ: Второй потребитель начнёт с текущей позиции генератора и получит элементы, которые ещё не извлекались. Если первый потребитель позже продолжит работу, он получит уже следующий остаток, потому что оба используют одно общее состояние.

Порядок потребления поэтому является частью поведения программы. Нельзя считать двух потребителей независимыми только потому, что они получили ссылку на один и тот же объект.

3. Вопрос: Почему замена генераторного выражения на списковое включение устраняет проблему повторного обхода, но не всегда является правильным решением?

Ответ: Списковое включение немедленно создаёт и сохраняет все результаты в списке. Каждый новый цикл по этому списку получает отдельный итератор, поэтому один обход не исчерпывает сам список.

Однако такая замена требует памяти, пропорциональной числу элементов, и выполняет вычисления сразу, даже если потребитель использует только начало результата. Для больших или бесконечных последовательностей список может быть неприемлем, поэтому следует выбирать между повторным обходом и потоковой обработкой осознанно.