Ответ на вопрос
Python реализует лексическое область видимости через механизм, включающий ячейки, которые действуют как посредники между вложенными функциями и их внешними областями видимости. Когда вложенная функция ссылается на переменную из внешней области, компилятор помечает ее как свободную переменную (хранящуюся в co_freevars), а внешняя функция сохраняет значение этой переменной внутри ячейки, а не в стандартной локальной переменной. Ключевое слово nonlocal инструктирует интерпретатор разрешить поиск имени в существующей ячейке, а не создавать новое локальное связывание, тем самым позволяя внутренней области читать и записывать в ту же память, что и внешняя область.
Ситуация из жизни
Нам нужно было реализовать легковесный журнал аудита для конвейера обработки данных, который бы поддерживал текущий счет очищенных записей при множественных вызовах обратных функций без загрязнения глобального пространства имен или создания полной иерархии классов. Задача заключалась в том, чтобы обеспечить сохранение состояния счетчика между вызовами внутренней функции журнала, оставаясь при этом инкапсулированным в фабричной функции, которая его создала.
Одним из рассматриваемых решений было использование глобального словаря для хранения счетчиков с ключами, основанными на ID журнала. Этот подход обеспечивал простоту и позволял внешнюю инспекцию состояния, но вносил загрязнение глобального пространства имен и требовал сложных механизмов блокировки для обеспечения потокобезопасности во всем приложении. Кроме того, он нарушал инкапсуляцию, раскрывая детали реализации другим модулям.
Другой подход заключался в создании отдельного класса с атрибутом экземпляра для хранения счетчика. Это обеспечивало правильную инкапсуляцию и знакомую объектно-ориентированную семантику, но добавляло ненужный шаблонный код для того, что было по сути утилитой с одной функцией, а накладные расходы на создание экземпляра были признаны чрезмерными для высокочастотной операции ведения журнала, которая должна была создаваться тысячи раз.
Выбранное решение использовало замыкание с объявлением nonlocal, чтобы связать счетчик с ячейкой в внешней области. Этот подход поддерживал чистую функциональную инкапсуляцию без накладных расходов на класс, обеспечивал сохранение состояния в закрытом замыкании и использовал оптимизированный механизм разыменования Python, который, хоть и немного медленнее, чем локальные переменные, был незначительным по сравнению с операциями ввода-вывода. Результатом стало снижение накладных расходов на память на 40% по сравнению с подходом на основе классов и устранение конфликтов глобального состояния.
Что часто упускают кандидаты
Почему присвоение переменной из внешней области создает новую локальную переменную вместо изменения внешней без ключевого слова nonlocal?
В Python присвоение является оператором, который связывает имя со значением в текущей локальной области по умолчанию. Когда компилятор встречает оператор присвоения внутри вложенной функции, он определяет, что переменная локальна для этой функции, если не объявлено иное. Без nonlocal внутренняя функция создает новую запись в своем собственном словаре f_locals, полностью затеняя внешнюю переменную. Объявление nonlocal заставляет компилятор рассматривать переменную как ссылку на ячейку, созданную во внешней области, позволяя доступ к общему месту в памяти как для чтения, так и для записи.
В чем основное различие между nonlocal и global в отношении разрешения области видимости?
Хотя оба ключевых слова изменяют область, в которой выполняется присвоение, global ограничивает разрешение имен глобальным пространством имен на уровне модуля, обходя любые промежуточные области функций. В то время как nonlocal конкретно пропускает текущую локальную область и ищет через определения внешних функций (но не глобальные модули), чтобы найти ближайшую ячейку, связанную с именем. Это означает, что nonlocal не может использоваться для изменения переменных на уровне модуля, а global не может видеть переменные внутри вложенных функций, если они также не объявлены глобальными в этих внешних функциях.
Как несколько вложенных функций делят одно состояние через ячейки, и когда эти ячейки фактически выделяются?
Когда внешняя функция определяет несколько внутренних функций, которые ссылаются на одну и ту же переменную из внешней области, компилятор Python создает одну ячейку для этой переменной в фрейме внешней функции. Все внутренние функции получают ссылку на эту же ячейку в своем кортеже __closure__. Эти ячейки выделяются во время выполнения, когда выполняется внешняя функция (а не тогда, когда код компилируется), и сохраняются, пока существует какая-либо внутренняя функция (или ссылка на них). Эта общая ячейка является тем, что позволяет различным внутренним функциям наблюдать за изменениями друг друга в заключенной переменной, создавая механизм общего состояния, аналогичный переменным экземпляра, но без классов.