pickle 모듈의 프로토콜은 __init__이 부작용이나 비용이 많이 드는 계산을 수행하는 객체를 처리하도록 발전했습니다. 초기 프로토콜은 언픽클링 하는 동안 __init__을 호출해야 하므로, 파일 핸들 또는 데이터베이스 연결과 같은 리소스와 관련된 문제가 발생했습니다. 프로토콜 2는 __getnewargs__를 도입했으며, 프로토콜 4는 키워드 인수를 지원하기 위해 __getnewargs_ex__로 이를 확장해 객체 재구성에 대한 세밀한 제어를 제공했습니다.
객체를 언픽클링 할 때 파이썬은 일반적으로 객체 상태를 재생성해야 합니다. 만약 __init__이 유효성을 검사하거나 네트워크 소켓을 열거나 전역 상태를 수정한다면, 언픽클링 중에 이를 다시 실행하는 것은 부정확하거나 비효율적일 수 있습니다. 문제는 초기화 부작용을 유발하지 않고 객체의 상태를 복원하는 것인데, 저장된 데이터만을 사용하여 하위 수준의 __new__ 생성자를 통해 인스턴스를 재구성합니다.
__getnewargs_ex__ 더블 언더 메소드 (구 프로토콜의 경우 __getnewargs__)는 클래스가 pickle에 의해 직접 __new__로 전달되는 (args, kwargs)의 튜플을 반환할 수 있도록 합니다. 이 과정은 재구성 단계에서 호출되며, 반환값은 직렬화된 바이트로부터 인스턴스가 어떻게 생성되는지를 결정합니다. 이 접근 방식은 객체가 복원된 객체에 부적합할 수 있는 어떤 초기화 논리도 호출하지 않고 올바른 초기 상태로 인스턴스화 될 수 있도록 보장합니다.
import pickle class DatabaseConnection: def __new__(cls, dsn, timeout=30): instance = super().__new__(cls) instance.dsn = dsn instance.timeout = timeout return instance def __init__(self, dsn, timeout=30): # 언픽클 중에 건너 뛰고자 하는 비싼 작업 self.socket = create_socket(dsn, timeout) def __getnewargs_ex__(self): # __new__에 대한 args 및 kwargs 반환 return ((self.dsn,), {'timeout': self.timeout}) def __getstate__(self): # 소켓은 직렬화하지 않음 return {'dsn': self.dsn, 'timeout': self.timeout} def __setstate__(self, state): self.dsn = state['dsn'] self.timeout = state['timeout'] # 필요시 소켓 재설정 또는 지연 초기화로 놔둠 # 사용법 conn = DatabaseConnection('postgresql://localhost', timeout=60) serialized = pickle.dumps(conn, protocol=4) restored = pickle.loads(serialized) # __init__이 호출되지 않음
데이터 처리 파이프라인은 열린 TCP 소켓과 인증 토큰을 보유한 Redis 연결 객체를 캐시합니다. 이러한 캐시 항목을 디스크에 직렬화하여 애플리케이션 재시작 간 지속성을 유지할 때, 언픽클 중에 __init__을 호출하면 즉시 새로운 소켓 연결을 생성하려고 시도하며, 이는 오프라인 환경에서는 실패하게 되거나 리소스 누수를 초래합니다. 이 시나리오에는 연결 매개변수를 보존하고 애플리케이션이 명시적으로 요청할 때까지 실제 네트워크 설정을 연기하는 직렬화 전략이 필요합니다.
__getstate__를 구현하여 연결 매개변수(호스트, 포트, 인증)만을 반환하고, __setstate__를 통해 속성을 수동으로 설정하고 선택적으로 연결을 재개하도록 합니다. 이러한 접근 방식은 이전 pickle 프로토콜과 호환되며 명시적입니다. 그러나 이것은 여전히 기본 언픽클링 프로세스 중에 __init__을 호출하므로 __reduce__를 사용하여 주의 깊게 피하지 않으면 부작용을 유발할 수 있습니다.
__reduce__를 구현하여 (callable, args, state)의 튜플을 반환하도록 하며, 여기서 callable은 클래스 메소드 또는 __new__ 자신입니다. 이것은 재구성에 대한 완벽한 제어를 제공하지만 장황하고 상태 사전을 수동으로 관리해야 합니다. 이는 코드 복잡성과 클래스 구조와 직렬화된 데이터 간의 버전 불일치 위험을 증가시킵니다.
__getnewargs_ex__를 구현하여 ((host, port), {'auth': token})를 반환하여 pickle이 __new__(host, port, auth=token)를 직접 호출하도록 하여 __init__을 우회하도록 합니다. 이 솔루션은 최신 프로토콜 4 특징을 활용하며, '빈 인스턴스 생성' 단계와 '리소스 초기화' 단계를 깔끔하게 분리하였고, __reduce__의 보일러플레이트를 피합니다. 결과적으로 연결 객체가 구성된 상태로 복원되지만 소켓은 명시적으로 필요할 때까지 닫혀 있어 일괄 언픽클링 작업 중 리소스 고갈을 방지하는 강력한 캐싱 시스템이 됩니다.
__getnewargs_ex__가 어떻게 __init__이 호출되는 것을 방지하고, 단독으로 __setstate__는 그렇지 않은가요?
pickle이 객체를 재구성할 때 __getnewargs_ex__(또는 __getnewargs__)를 확인합니다. 존재하는 경우 언픽클러는 반환된 값을 가지고 __new__(*args, **kwargs)를 호출하고, 사용 가능하다면 즉시 __setstate__를 적용하여 __init__을 완전히 건너뜁니다. 이와 반대로 이러한 메소드가 없으면 pickle은 항상 __new__ 이후에 __init__을 호출하는 기본 생성 경로를 사용합니다. 후보자들은 종종 __setstate__가 초기화를 덮어쓴다고 가정하지만, __setstate__는 이미 실행된 __init__ 이후 인스턴스를 패치하는 것일 뿐, 부작용 방지에는 너무 늦습니다.
__getnewargs_ex__가 두 요소의 튜플이 아닌 값을 반환하면 어떤 일이 발생하나요?
pickle 프로토콜은 __getnewargs_ex__가 길이가 2인 튜플인 (args_tuple, kwargs_dict)를 반환하도록 엄격히 요구합니다. 만약 단일 인수 튜플(예: __getnewargs__와 같이)을 반환하면, 파이썬은 언픽클링 중에 TypeError를 발생시킵니다. 이 오류는 __new__(*args, **kwargs)로 결과를 unpack하려고 시도하기 때문입니다. 만약 None이나 다른 타입을 반환하면 언픽클러가 고장나거나 예측할 수 없게 동작할 수 있으며, __getnewargs__는 단순히 인수 튜플만을 기대합니다.
__getnewargs_ex__와 __reduce_ex__가 둘 다 정의되어 있을 경우 어떻게 상호작용하나요?
__reduce_ex__는 직렬화를 조율하는 높은 수준의 프로토콜 메소드입니다. 만약 클래스가 __getnewargs_ex__를 정의하면, __reduce_ex__(특히 프로토콜 4+에서)는 자동으로 그 반환 값을 감소 튜플에 포함합니다 NEWOBJ_EX 오프코드를 사용합니다. 만약 둘 다 존재하지만 __reduce_ex__가 표준 재구성 경로를 사용하지 않는 사용자 정의 호출가능한 객체를 반환하면 우선 순위가 높아져서 __getnewargs_ex__가 완전히 무시될 수 있습니다.