Краткий ответ

itertools.groupby объединяет только соседние элементы с одинаковым ключом, а не все элементы с этим ключом во всей последовательности. Поэтому после разрыва последовательности другим ключом тот же ключ образует новую группу.

Исторический контекст

Итераторы позволяют обрабатывать поток последовательно, без загрузки всех данных в память. Для такого режима нужен механизм, который выделяет непрерывные серии элементов и сразу передаёт их потребителю.

groupby решает именно задачу потоковой группировки соседних элементов. Это отличается от агрегации по ключу, где обычно требуется хранить состояние для всех уже встреченных ключей.

Постановка проблемы

Если применить groupby к неотсортированным данными и ожидать одну группу на каждый ключ, результат будет неверным для такой задачи. Один и тот же ключ может появиться в нескольких группах, если между его появлениями встретились элементы с другими ключами.

Ошибка особенно опасна при обработке логов, событий или записей, когда визуально кажется, что группировка должна собирать все записи пользователя или категории. Для глобальной группировки потребуются сортировка, словарь или другая структура накопления.

Подробное решение

На каждом шаге groupby вычисляет ключ элемента и сравнивает его с ключом текущей группы. Пока ключи равны, элементы относятся к одной группе; при изменении ключа текущая группа заканчивается, а для следующей создаётся новый объект группы.

Функция не использует хеш-таблицу и не ищет ранее созданную группу с таким же ключом. Поэтому порядок элементов имеет принципиальное значение: одинаковые ключи, разделённые другими значениями, считаются разными последовательными группами.

from itertools import groupby

items = ['a', 'a', 'b', 'a']
for key, group in groupby(items):
    print(key, list(group))

Результат содержит группы a, b и снова a. Чтобы получить одну группу для каждого ключа, вход сначала обычно сортируют по тому же ключу, после чего применяют groupby. Сортировка требует дополнительной памяти или внешнего многофазного решения и меняет порядок обработки.

Объект группы — это итератор, связанный с общим исходным итератором. Если перейти к следующей группе, не исчерпав текущую, оставшиеся элементы текущей группы будут пропущены. Поэтому группу нужно полностью обработать или явно материализовать, например преобразовать в список, если она понадобится позже.

Ситуация из практики

Сервис обрабатывает события, предварительно отсортированные по идентификатору клиента, и должен последовательно обрабатывать записи каждого клиента. В этом случае groupby подходит: он работает лениво и не требует хранить весь набор событий.

Вариант с предварительной сортировкой удобен, если порядок событий не важен, но сортировка увеличивает задержку и потребление памяти. Вариант со словарём сохраняет все накопленные группы и позволяет работать с произвольным порядком, однако его память растёт вместе с объёмом данных.

Выбор groupby оправдан при уже отсортированном потоке или при обработке именно последовательных серий. Для неотсортированных событий безопаснее использовать словарь агрегации либо сортировку по ключу, явно учитывая их стоимость.

Что кандидаты часто упускают

Нужно ли сортировать данные перед использованием groupby?

Если требуется одна группа для каждого ключа, вход должен быть сгруппирован по этому ключу, обычно через сортировку. Если нужны именно непрерывные серии, сортировка не нужна и даже может разрушить исходный порядок событий.

Сортировка должна использовать тот же смысл ключа, что и groupby. Иначе элементы, которые groupby считает равными, могут оказаться разделены при сортировке.

Что произойдёт с непрочитанной частью текущей группы после перехода к следующей?

Она будет фактически пропущена. Группа читает элементы из общего исходного итератора, а внешний цикл при переходе дальше продвигает этот же итератор до нового ключа.

Если данные группы нужны после перехода к следующей, их следует сохранить отдельно, например материализовать в список. Это увеличивает память, но устраняет зависимость от состояния общего потока.

Использует ли groupby хеширование ключей и хранит ли уже встреченные группы?

Нет. Он сравнивает текущий ключ с ключом предыдущей группы и не хранит таблицу всех ранее встреченных ключей.

Следовательно, ключ не обязан быть хешируемым, но должен корректно сравниваться с последующим ключом. Это также объясняет, почему одинаковый ключ, встретившийся позже после другого ключа, создаёт новую группу.