При обработке большого массива NumPy простое срезание по диапазону работает быстро и почти не увеличивает потребление памяти, а выбор элементов по массиву индексов — заметно медленнее и создаёт новый массив. Объясните, какой механизм вызывает это различие и какое практическое следствие оно имеет для пайплайна подготовки данных.

Question

Accepted Answer

Обычный срез NumPy обычно создаёт представление : новый объект хранит форму, шаги и ссылку на тот же буфер данных, поэтому копирования значений нет. Индексация массивом индексов или булевой маской выполняет продвинутую индексацию и создаёт независимую копию выбранных элементов, так как они могут располагаться в памяти непоследовательно. Поэтому цепочка операций с масками способна незаметно кратно увеличить расход RAM и время на копирование. Для больших данных стоит использовать срезы, где это возможно, а маски применять осознанно и не хранить ненужные промежуточные результаты. Изменение представления может изменить исходный массив, тогда как изменение результата продвинутой индексации — нет.