Какой инвариант обеспечивает то, что локальный аллокатор потоков в Go может обрабатывать запросы на небольшие объекты без получения глобальной блокировки?

Ответ на вопрос

История

Аллокатор памяти Go происходит от TCMalloc, выделенной памяти от Google, предназначенной для многопоточных серверов на C++. Время выполнения реализует многоуровневый кэш, специально чтобы устранить конфликты блокировок в параллельных программах. Эта концепция приоритизирует пропускную способность над эффективностью использования памяти в быстром пути запросов на небольшие объекты.

Проблема

В высококонкурентных сервисах требование, чтобы каждое выделение памяти получало глобальную блокировку кучи, сериализовало бы горутины и уничтожило бы пропускную способность. Проблема заключается в том, чтобы предоставить задержку выделения O(1) без синхронизации для обычного случая, оставаясь при этом безопасным. Традиционные реализации malloc страдают от колебаний линий кэша, когда несколько ЦПУ конкурируют за одно и то же слово блокировки.

Решение

Время выполнения поддерживает кэш на каждую P (mcache), содержащий диапазоны для каждого из 67 классов размеров. Когда горутина выделяет небольшой объект (≤32КБ), она либо увеличивает указатель границы, либо извлекает из локального списка свободных объектов в своем mcache, не требуя атомарных операций. Критический инвариант заключается в том, что mcache принадлежит исключительно одному P в любой момент, и выделения никогда не пересекают границы P, тем самым избегая общего изменяемого состояния.

type PriceTick struct {
    Symbol uint32
    Price  float64
}

func ProcessTick() {
    // Выделяет 16 байт из mcache без блокировки
    tick := &PriceTick{}
    _ = tick
}

Ситуация из жизни

Платформа высокочастотной торговли обрабатывала 500 000 событий рыночных данных в секунду, при этом каждое событие требовало временные структуры 24 байта для нормализации цен. Первоначальная реализация использовала глобальный sync.Pool для этих объектов, который стал серьезной точкой конфликта под нагрузкой, потребляя 35% времени ЦП в атомарных операциях и трафике согласования кэша.

Решение A: Ручное разбиение пула

Команда рассматривала возможность ручного разбиения пула на 256 внутренних подсчетчиков, выбранных по хешу ID горутины. Плюсы: распределяет конфликтные ситуации по линиям кэша. Минусы: неравномерное использование создает раздувание памяти в неактивных сегментах, и требуется сложное управление голоданием, когда локальный сегмент опустошается, в то время как другие содержат свободные объекты.

Решение B: Арены для каждого работника

Они оценили возможность предварительного выделения больших арен памяти для рабочих горутин с выделением через увеличенный указатель. Плюсы: отсутствие конфликта и чрезвычайно быстрый путь выделения. Минусы: требует ручного управления памятью, рискует утечками памяти, если указатели сброса обрабатываются неправильно, и усложняет отслеживание жизненного цикла объектов через асинхронные границы.

Решение C: Выделение стека и пакетирование

Выбранный подход перестроил процессор событий для использования структур значений вместо указателей, сохраняя данные в стеке, где это возможно, и обрабатывая события партиями по 1000 для амортизации выделений. Плюсы: полностью исключает давление на кучу для краткоживущих данных и не требует синхронизационных примитивов. Минусы: потребовал значительной переработки интерфейсов, которые ранее ожидали семантики указателей, и увеличил использование стека на горутину.

Результат

Внедрив Решение C, служба устранила 99% выделений из кучи в горячем пути. Показатель P99 снизился с 12 миллисекунд до 180 микросекунд, а циклы сборки мусора уменьшились на 85%, что позволило службе удовлетворять свои требования SLA менее чем за миллисекунду.

Что часто упускают кандидаты

Как Go ограничивает фрагментацию памяти при выделении объектов разных размеров из диапазонов фиксированного размера?

Go использует 67 различных классов размеров с определенной гранулярностью (шаги по 8 байт до 512 байт, затем большие интервалы). Объекты округляются до ближайшего размера класса, что ограничивает внутреннюю фрагментацию примерно 12,5%. Внешняя фрагментация минимизируется, так как каждый mspan содержит объекты ровно одного класса размера, предотвращая повреждение больших блоков памяти маленькими объектами.

Почему время выполнения очищает битмапы кучи, а не видимую пользователю память во время выделения?

Аллокатор поддерживает информацию о типах и битмапы указателей в структурах метаданных heapArena, а не в заголовках объектов. Когда память выделяется, только битмапы, указывающие на слоты указателей, обнуляются при необходимости; память данных обнуляется по мере необходимости мутатором или во время параллельного просеивания. Этот подход откладывает работу, улучшает локальность кэша и снижает необходимую полосность памяти во время выделения.

Что заставляет диапазон перейти из mcache обратно в mcentral во время сборки мусора?

Во время фазы просеивания GC время выполнения проверяет диапазоны, удерживаемые в экземплярах mcache. Если диапазон содержит нет выделенных объектов (все слоты освобождены), P возвращает его в mcentral, вместо того чтобы удерживать его. Это предотвращает запирание памяти и обеспечивает сбалансированное распределение свободной памяти по процессорам, хотя это ведет к затратам на повторное получение центральной блокировки.