После массового удаления ключей из большого словаря его память не уменьшается пропорционально числу удалённых элементов: какой механизм CPython это объясняет?
В CPython удаление ключей обычно освобождает связанные значения, но не обязано немедленно уменьшать внутреннюю хеш-таблицу словаря. На месте удалённых записей могут оставаться специальные маркеры — tombstone, или dummy-записи, а выделенная ёмкость таблицы сохраняется для последующих вставок.
Поэтому количество элементов может сильно уменьшиться, а размер самого словаря — почти нет. Если словарь нужно физически уплотнить, его обычно перестраивают в новый объект, учитывая кратковременный пик памяти.
Хеш-таблица должна поддерживать быстрый поиск при вставках, удалениях и проверке наличия ключа. Простое обнуление ячейки после удаления нарушило бы цепочку поиска: следующий ключ, попавший после удалённой ячейки, мог бы ошибочно считаться отсутствующим.
Специальный маркер удалённой ячейки сохраняет корректность поиска. Одновременно сохранение ранее выделенной таблицы позволяет не перераспределять память при каждой серии вставок и удалений.
Проблема возникает у долгоживущих словарей: кэшей, таблиц состояний, индексов и структур, из которых элементы регулярно удаляются. Логический размер словаря уменьшается, но его резерв может оставаться рассчитанным на прежнее количество записей.
Это приводит к двум последствиям: память процесса используется неэффективно, а накопление удалённых ячеек может увеличить стоимость поиска или заставить словарь выполнить последующее перестроение. Поведение и точные условия перестройки относятся к деталям реализации CPython, а не к универсальному контракту языка Python.
При удалении записи CPython помечает соответствующую позицию так, чтобы поиск продолжался корректно. Значение удалённого элемента становится недоступным через словарь, но массив индексов и общая ёмкость хеш-таблицы могут сохраниться.
При дальнейших вставках словарь может использовать свободные или ранее удалённые позиции. Когда соотношение занятых, удалённых и свободных ячеек становится неблагоприятным, CPython способен перестроить таблицу. Это одновременно удаляет устаревшие маркеры и может изменить выделенный объём, но момент перестройки не следует рассматривать как гарантированный API.
Если требуется уплотнить словарь, распространённый приём — создать новый словарь из текущих элементов:
Новый объект обычно строится по числу оставшихся элементов и не наследует прежнее количество удалённых позиций. Однако во время операции старый и новый словари существуют одновременно, поэтому кратковременный пик памяти может быть значительным. Для очень больших структур перестройку выполняют в подходящий момент или используют другой жизненный цикл данных.
clear() подходит, когда нужно удалить все элементы, но он меняет содержимое словаря, а детали освобождения внутренней памяти зависят от реализации. Если структура постоянно растёт и сокращается, полезно оценивать не только len, но и размер самого словаря, частоту вставок и удалений, пиковое потребление и время операций.
В сервисе словарь использовался как ограниченный кэш: новые ключи добавлялись, а устаревшие удалялись. Через несколько часов число активных записей стабилизировалось, но память процесса оставалась заметно выше ожидаемой.
Рассматривались три варианта. Оставить словарь как есть проще всего, но резерв таблицы продолжает занимать память. Периодически вызывать clear() нельзя без отдельного восстановления данных: это временно уничтожает все записи. Периодически создавать новый словарь сохраняет содержимое, но создаёт пиковую нагрузку на память и CPU.
Выбранным решением стала редкая перестройка при достижении порога разницы между историческим максимумом и текущим числом записей. Такой подход ограничил накопление удалённых позиций, а перестройку выполняли вне критического пути обработки запросов. Частоту операции определяли по профилю памяти и задержкам, а не по одному значению len.
Всегда ли удаление ключей оставляет tombstone?
Нет, детали зависят от внутреннего состояния таблицы и реализации Python. В CPython удаление должно сохранять корректность поиска, поэтому удалённая позиция может быть представлена специальным состоянием, но последующее перестроение способно убрать такие позиции. Нельзя переносить конкретные правила CPython на все реализации Python.
Почему перестройка словаря может временно увеличить потребление памяти?
При выражении dict(old_dict) сначала создаётся новый словарь, пока старый ещё хранит все записи. Пиковое потребление включает оба объекта и связанные с ними структуры, после чего старый объект становится кандидатом на освобождение. Поэтому перестройка уменьшает долговременный резерв, но не является бесплатной операцией по памяти.
Почему частые удаления и вставки не означают автоматического уменьшения словаря после каждой операции?
Немедленное сжатие после каждого удаления потребовало бы перераспределения и перемещения большого числа записей. Это сделало бы обычные операции удаления значительно дороже и ухудшило бы сценарии с повторным заполнением. CPython откладывает дорогостоящую перестройку и выполняет её по внутренним условиям, балансируя между скоростью операций и использованием памяти.