Odpowiedź na pytanie
Python wdraża leksykalne skanowanie za pomocą mechanizmu obejmującego obiekty komórkowe, które pełnią rolę pośredników między zagnieżdżonymi funkcjami a ich zewnętrznymi zakresami. Kiedy zagnieżdżona funkcja odwołuje się do zmiennej z zewnętrznego zakresu, kompilator oznacza ją jako zmienną wolną (przechowywaną w co_freevars), a funkcja zewnętrzna przechowuje wartość tej zmiennej wewnątrz obiektu komórkowego, a nie w standardowym slocie zmiennej lokalnej. Słowo kluczowe nonlocal instruuje interpreter, aby rozwiązał wyszukiwanie nazwy do istniejącego obiektu komórkowego, zamiast tworzyć nowe powiązanie lokalne, co pozwala wewnętrznemu zakresowi na odczyt i zapis do tej samej lokalizacji pamięci co zewnętrzny zakres.
Sytuacja z życia
Musieliśmy wdrożyć lekki logger audytowy dla potoku przetwarzania danych, który będzie utrzymywał bieżącą liczbę sanitarnych rekordów podczas wielu wywołań zwrotnych, nie zanieczyszczając globalnej przestrzeni nazw ani nie tworząc pełnej hierarchii klas. Wyzwanie polegało na zapewnieniu, że stan licznika będzie utrzymywał się między wywołaniami wewnętrznej funkcji logującej, pozostając jednocześnie enkapsulowanym w funkcji fabrycznej, która go tworzyła.
Jednym z rozważanych rozwiązań było użycie globalnego słownika do przechowywania liczników z kluczem na podstawie identyfikatora loggera. To podejście oferowało prostotę i pozwalało na zewnętrzną inspekcję stanu, ale wprowadzało zanieczyszczenie globalnej przestrzeni nazw i wymagało złożonych mechanizmów blokady, aby zapewnić bezpieczeństwo wątków w całej aplikacji. Dodatkowo złamało enkapsulację, ujawniając szczegóły implementacyjne innym modułom.
Innym podejściem było stworzenie dedykowanej klasy z atrybutem instancji do przechowywania licznika. To zapewniało odpowiednią enkapsulację i znajome semantyki obiektowe, ale dodawało zbędny kod, ponieważ chodziło zasadniczo o narzędzie jedno-funkcyjne, a koszty tworzenia instancji uznano za nadmierne w przypadku operacji logowania o wysokiej częstotliwości, które będą instancjonowane tysiące razy.
Wybrane rozwiązanie wykorzystało zamknięcie z deklaracją nonlocal, aby związać licznik z obiektami komórkowymi w zewnętrznym zakresie. To podejście utrzymało czystą funkcjonalną enkapsulację bez narzutu klasowego, zapewniając, że stan pozostał prywatny dla zamknięcia, oraz wykorzystując zoptymalizowany mechanizm dereferencji komórek Pythona, który, chociaż nieco wolniejszy niż zmienne lokalne, był nieznaczny w porównaniu do operacji I/O. Wynikiem była 40% redukcja w koszcie pamięci w porównaniu do podejścia opartego na klasach oraz eliminacja konfliktów ze stanem globalnym.
Co często umyka kandydatom
Dlaczego przypisanie wartości do zmiennej z zewnętrznego zakresu tworzy nową zmienną lokalną zamiast modyfikować zewnętrzną bez słowa kluczowego nonlocal?
W Pythonie przypisanie to polecenie, które wiąże nazwę z wartością w bieżącym lokalnym zakresie domyślnie. Kiedy kompilator napotyka przypisanie wewnątrz zagnieżdżonej funkcji, określa, że zmienna jest lokalna dla tej funkcji, chyba że zadeklarowano inaczej. Bez nonlocal, wewnętrzna funkcja tworzy nowy wpis w swoim własnym słowniku f_locals, całkowicie przesłaniając zmienną zewnętrzną. Deklaracja nonlocal zmusza kompilator do traktowania zmiennej jako odniesienia do obiektu komórkowego utworzonego w zewnętrznym zakresie, co umożliwia odczyt i zapis do współdzielonej lokalizacji pamięci.
Jaka jest fundamentalna różnica między nonlocal a global w kontekście rozwiązywania zakresu?
Chociaż oba słowa kluczowe modyfikują zakres, w którym działa przypisanie, global ogranicza rozwiązywanie nazw do globalnej przestrzeni nazw na poziomie modułu, omijając jakiekolwiek interweniujące zewnętrzne zakresy funkcji. Z drugiej strony nonlocal konkretnie pomija bieżący lokalny zakres i przeszukuje definicje zewnętrznych funkcji (ale nie globalne moduły), aby znaleźć najbliższy obiekt komórkowy związany z nazwą. Oznacza to, że nonlocal nie może być używany do modyfikowania zmiennych na poziomie modułu, a global nie może widzieć zmiennych wewnątrz zagnieżdżonych funkcji, chyba że są one również wyraźnie zadeklarowane jako globalne w tych zewnętrznych funkcjach.
Jak wiele zagnieżdżonych funkcji dzieli ten sam stan za pomocą obiektów komórkowych, a kiedy te komórki są faktycznie przydzielane?
Kiedy zewnętrzna funkcja definiuje wiele wewnętrznych funkcji, które odnoszą się do tej samej zmiennej z zewnętrznego zakresu, kompilator Pythona tworzy pojedynczy obiekt komórkowy dla tej zmiennej w ramce zewnętrznej funkcji. Wszystkie wewnętrzne funkcje otrzymują referencję do tego samego obiektu komórkowego w swojej krotce __closure__. Te komórki są przydzielane w czasie wykonywania, gdy zewnętrzna funkcja jest uruchamiana (a nie podczas kompilacji kodu) i utrzymują się tak długo, jak istnieje jakakolwiek wewnętrzna funkcja (lub referencja do nich). Ten współdzielony obiekt komórkowy umożliwia różnym wewnętrznym funkcjom obserwowanie wzajemnych modyfikacji zmiennej zawartej, tworząc mechanizm współdzielony podobny do zmiennych instancji, ale bez klas.