Краткий ответ

list хранит ссылки на отдельные объекты Python, а array.array("q") — значения чисел в компактном непрерывном буфере фиксированного C-типа. Поэтому массив обычно требует значительно меньше памяти для однородных чисел.

Главный компромисс — array.array поддерживает только значения выбранного типа и обычно менее универсален и удобен, чем список: произвольные Python-объекты в него помещать нельзя, а операции могут требовать преобразования между машинным числом и объектом Python.

Исторический контекст

Обычный список Python предназначен для хранения произвольных объектов. Такая универсальность требует, чтобы список содержал ссылки, а сами значения жили как самостоятельные объекты Python.

Для плотного хранения однородных числовых данных в стандартной библиотеке существует array.array. Он решает задачу уменьшения накладных расходов, когда полноценная модель объектов Python для каждого элемента не нужна.

Постановка проблемы

При создании списка из миллионов целых чисел расход памяти складывается из памяти самого массива ссылок и памяти объектов int. Даже если ссылки занимают относительно немного, каждый элемент списка может быть отдельным объектом Python с собственными служебными данными.

Это особенно важно при загрузке больших наборов данных, пакетной обработке и ограниченном лимите памяти контейнера. Простая оценка через sys.getsizeof(values_list) также может быть неполной: она не учитывает память объектов, на которые ссылается список.

Подробное решение

В list элементы представлены указателями на объекты. Для выражения values_list = [i for i in range(...)] создаются объекты int, а список хранит ссылки на них.

В array("q", ...) элементы записываются в непрерывный буфер как знаковые целые фиксированного размера, соответствующие типу q. В буфере нет отдельного полноценного объекта Python для каждого хранимого значения.

from array import array
import sys

items = [i for i in range(100_000)]
packed = array("q", range(100_000))

print(sys.getsizeof(items))
print(sys.getsizeof(packed))
print(packed[10])       # при чтении возвращается обычное значение Python
packed.append(100_000)  # значение должно соответствовать типу q

array.array экономит память только для данных, которые действительно соответствуют выбранному типу. Он не заменяет список во всех задачах: нельзя смешивать произвольные типы, хранить в нём словари или объекты разных классов.

Доступ к элементу массива возвращает объект Python, поэтому при интенсивном поэлементном чтении возникают преобразования и проверки границ. Список обычно удобнее для общего назначения, а для численных вычислений часто лучше подходит специализированная библиотека вроде NumPy, если она разрешена архитектурой проекта.

Есть и практические ограничения по представлению данных: диапазон значений зависит от типа массива. Например, попытка записать число, не помещающееся в выбранный знаковый тип, приводит к ошибке, а не к автоматическому расширению объекта, как у Python int.

Ситуация из практики

Сервис собирает десять миллионов кодов событий и держит их в памяти для последующей последовательной выгрузки. Изначально использовался список Python, из-за чего процесс приближался к лимиту памяти.

Рассматривались варианты:

оставить list: максимальная универсальность и удобство, но большой расход памяти;
заменить на array("q"): компактное хранение и поддержка индексного доступа, но только один числовой тип;
хранить данные в NumPy-массиве: эффективные численные операции, но дополнительная внешняя зависимость;
не хранить всё в памяти, а обрабатывать потоково: минимальный пик памяти, но необходимость изменить протокол загрузки и обработки.

Если значения нужны только для последовательного чтения и имеют ограниченный числовой тип, выбран array("q"). Это уменьшает накладные расходы без изменения инфраструктуры. Если же над данными выполняются векторные вычисления или требуется многомерное представление, предпочтительнее NumPy; при возможности потоковой обработки ещё лучше устранить необходимость хранить весь набор целиком.

Что кандидаты часто упускают

Почему sys.getsizeof(list) недостаточен для сравнения?

sys.getsizeof для списка показывает размер самого контейнера, включая его внутренний массив ссылок, но не суммирует размер объектов, на которые эти ссылки указывают. Поэтому оценка списка чисел только по sys.getsizeof может сильно занижать фактическое потребление памяти. Для комплексной оценки нужно учитывать граф объектов или использовать профилирование, например tracemalloc, понимая границы его инструментирования.
Всегда ли array.array быстрее списка?

Нет. Он может уменьшить потребление памяти, но не гарантирует ускорение каждой операции. Поэлементный доступ требует извлечения значения из компактного буфера и создания соответствующего объекта Python, тогда как список уже хранит ссылки на Python-объекты. Выбор нужно проверять профилированием конкретного сценария: важны характер доступа, количество преобразований и выполняемые операции.
Почему для численных вычислений часто выбирают NumPy вместо array.array?

array.array решает прежде всего задачу компактного хранения одномерных значений фиксированного типа. NumPy дополнительно предоставляет векторизованные операции, многомерные массивы, представления без копирования и развитые средства работы с типами и формами данных.

Это не означает, что NumPy автоматически лучше: он добавляет зависимость и собственную модель памяти. Если требуется лишь компактный одномерный буфер стандартной библиотеки, array.array проще; если основная нагрузка — массовые численные операции, NumPy обычно предоставляет более подходящий уровень абстракции.