Что такое Swappiness в Linux? (и как это изменить)

Значение подкачки в Linux не имеет ничего общего с тем, сколько оперативной памяти используется до начала подкачки. Это широко известная и широко распространенная ошибка. Мы объясняем, что это такое на самом деле.

Развенчание мифов о подкачке

Подкачка — это метод, при котором данные из оперативной памяти (ОЗУ) записываются в специальное место на жестком диске — либо в раздел подкачки, либо в файл подкачки — для освобождения ОЗУ.

В Linux есть параметр, называемый значением подкачки. Существует много путаницы в отношении того, что контролирует этот параметр. Наиболее распространенное неправильное описание подкачки заключается в том, что она устанавливает порог использования ОЗУ, и когда объем используемой ОЗУ достигает этого порога, начинается подкачка.

Это заблуждение повторялось так часто, что теперь стало общепризнанной мудростью. Если (почти) все остальные говорят вам, что именно так работает swappiness, почему вы должны верить нам, когда мы говорим, что это не так?

Простой. Мы собираемся доказать это.

Ваша оперативная память разделена на зоны

Linux не считает вашу оперативную память одним большим однородным пулом памяти. Он считает, что он разделен на несколько различных регионов, называемых зонами. Какие зоны присутствуют на вашем компьютере, зависит от того, является ли он 32-битным или 64-битным. Вот упрощенное описание возможных зон на компьютере с архитектурой x86.

• Прямой доступ к памяти (DMA) : это младшие 16 МБ памяти. Зона получила свое название, потому что давным-давно существовали компьютеры, которые могли осуществлять прямой доступ только к этой области физической памяти.
• Прямой доступ к памяти 32. Несмотря на свое название, прямой доступ к памяти 32 (DMA32) — это зона, встречающаяся только в 64-разрядной версии Linux. Это низкие 4 ГБ памяти. Linux, работающий на 32-разрядных компьютерах, может использовать DMA только для этого объема ОЗУ (если только они не используют ядро ​​с расширением физических адресов (PAE)), благодаря чему зона получила свое название. Хотя на 32-битных компьютерах он называется HighMem.
• Обычный : на 64-разрядных компьютерах нормальной памятью является вся оперативная память объемом более 4 ГБ (примерно). На 32-разрядных машинах это ОЗУ от 16 МБ до 896 МБ.
• HighMem : существует только на 32-разрядных компьютерах с Linux. Это вся оперативная память свыше 896 МБ, включая оперативную память свыше 4 ГБ на достаточно больших машинах.

Значение PAGESIZE

Оперативная память распределяется по страницам фиксированного размера. Этот размер определяется ядром во время загрузки путем определения архитектуры компьютера. Обычно размер страницы на компьютере с Linux составляет 4 Кбайта.

Вы можете увидеть размер своей страницы с помощью команды getconf :

 размер страницы 

Зоны привязаны к узлам

Зоны привязаны к узлам. Узлы связаны с центральным процессором (ЦП). Ядро попытается выделить память для процесса, работающего на ЦП, из узла, связанного с этим ЦП.

Концепция привязки узлов к ЦП позволяет устанавливать смешанные типы памяти на специализированных многопроцессорных компьютерах с использованием архитектуры неоднородного доступа к памяти.

Это все очень высококлассно. Средний компьютер с Linux будет иметь один узел, называемый нулевым узлом. Все зоны будут принадлежать этому узлу. Чтобы увидеть узлы и зоны на вашем компьютере, загляните в файл /proc/buddyinfo . Мы будем использовать less , чтобы сделать это:

 меньше /proc/buddyinfo 

Это вывод 64-битного компьютера, на котором исследовалась эта статья:

 Узел 0, зона прямого доступа к памяти 1 1 1 0 2 1 1 0 1 1 3
Узел 0, зона DMA32 2 67 58 19 8 3 3 1 1 1 17

Есть единственный узел, нулевой узел. У этого компьютера всего 2 ГБ ОЗУ, поэтому зоны «Нормальный» нет. Есть только две зоны, DMA и DMA32.

Каждый столбец представляет количество доступных страниц определенного размера. Например, для зоны DMA32 чтение слева:

• 2 : Есть 2 из 2^( 0 *PAGESIZE) кусков памяти.
• 67 : имеется 67 блоков памяти размером 2^( 1 *PAGE_SIZE).
• 58 : Доступно 58 блоков памяти размером 2^( 2 *PAGESIZE).
• И так далее, вплоть до…
• 17 : 17 фрагментов размером 2^( 512 *PAGESIZE).

Но на самом деле единственная причина, по которой мы смотрим на эту информацию, — это увидеть взаимосвязь между узлами и зонами.

Файловые страницы и анонимные страницы

Отображение памяти использует наборы записей таблицы страниц для записи того, какие страницы памяти используются и для чего.

Отображения памяти могут быть:

• Поддерживаемые файлом: сопоставления с файловой поддержкой содержат данные, которые были считаны из файла. Это может быть любой файл. Важно отметить, что если система освободила эту память и ей нужно было снова получить эти данные, их можно прочитать из файла еще раз. Но если данные были изменены в памяти, эти изменения необходимо будет записать в файл на жестком диске, прежде чем память можно будет освободить. Если бы этого не произошло, изменения были бы потеряны.
• Анонимный : Анонимная память — это сопоставление памяти без файлов или устройств, поддерживающих его. Эти страницы могут содержать память, запрашиваемую программами на лету для хранения данных или таких вещей, как стек и куча. Поскольку за данными этого типа нет файла, для хранения анонимных данных должно быть выделено специальное место. Это место является разделом подкачки или файлом подкачки. Анонимные данные записываются в своп до освобождения анонимных страниц.
• Поддерживаемое устройством : к устройствам обращаются через файлы блочных устройств, которые можно рассматривать как файлы. Данные могут быть прочитаны из них и записаны в них. В отображении памяти, поддерживаемой устройством, хранятся данные с устройства.
• Shared : несколько записей таблицы страниц могут отображаться на одну и ту же страницу ОЗУ. При доступе к ячейкам памяти через любое из сопоставлений будут отображаться одни и те же данные. Различные процессы могут очень эффективно взаимодействовать друг с другом, изменяя данные в этих совместно отслеживаемых ячейках памяти. Совместно доступные для записи сопоставления являются распространенным средством достижения высокопроизводительного взаимодействия между процессами.
• Копирование при записи : Копирование при записи — это метод ленивого распределения. Если запрашивается копия ресурса, уже находящегося в памяти, запрос удовлетворяется путем возврата сопоставления с исходным ресурсом. Если один из процессов, «совместно использующих» ресурс, попытается записать в него, ресурс должен быть действительно реплицирован в памяти, чтобы можно было внести изменения в новую копию. Таким образом, выделение памяти происходит только при первой команде записи.

Для подкачки нам нужно заняться только первыми двумя в списке: файловыми страницами и анонимными страницами.

обмен

Вот описание swappiness из документации Linux на GitHub:

"This control is used to define how aggressive (sic) the kernel will swap memory pages. Higher values will increase aggressiveness, lower values decrease the amount of swap. A value of 0 instructs the kernel not to initiate swap until the amount of free and file-backed pages is less than the high water mark in a zone.

The default value is 60."

Это звучит так, как будто подкачка меняется вверх или вниз по интенсивности. Интересно, что в нем говорится, что установка подкачки на ноль не отключает подкачку. Он предписывает ядру не менять местами до тех пор, пока не будут выполнены определенные условия. Но обмен все же может произойти.

Давайте копнем глубже. Вот определение и значение по умолчанию vm_swappiness в файле исходного кода ядра vmscan.c:

/*
* From 0 .. 100. Higher means more swappy.
*/
int vm_swappiness = 60;

Значение swappiness может варьироваться от 0 до 100. Опять же, комментарий определенно звучит так, как будто значение swappiness влияет на то, сколько происходит обмена, причем более высокое значение приводит к большему обмену.

Далее в файле исходного кода мы видим, что новой переменной swappiness присваивается значение, возвращаемое функцией mem_cgroup_swappiness() . Еще немного отслеживания исходного кода покажет, что значение, возвращаемое этой функцией, равно vm_swappiness . Итак, теперь переменная swappiness устанавливается равной любому значению vm_swappiness .

int swappiness = mem_cgroup_swappiness(memcg);

И чуть ниже в том же файле с исходным кодом мы видим это:

/*
* With swappiness at 100, anonymous and file have the same priority.
* This scanning priority is essentially the inverse of IO cost.
*/
anon_prio = swappiness;
file_prio = 200 - anon_prio;

Это интересно. Два различных значения получены из swappiness . Эти значения хранятся в переменных anon_prio и file_prio . При увеличении одного значение другого уменьшается, и наоборот .

Значение swappiness в Linux фактически устанавливает соотношение между двумя значениями.

Золотое сечение

Файловые страницы содержат данные, которые можно легко извлечь, если эта память будет освобождена. Linux может просто снова прочитать файл. Как мы видели, если данные файла были изменены в оперативной памяти, эти изменения должны быть записаны в файл до того, как страница файла может быть освобождена. Но в любом случае страница файла в ОЗУ может быть повторно заполнена путем чтения данных из файла. Так зачем добавлять эти страницы в раздел подкачки или в файл подкачки? Если вам снова понадобятся эти данные, вы можете прочитать их обратно из исходного файла, а не из избыточной копии в пространстве подкачки. Таким образом, страницы файлов не хранятся в свопе. Они «хранятся» в исходном файле.

Для анонимных страниц не существует базового файла, связанного со значениями в памяти. Значения на этих страницах были получены динамически. Вы не можете просто прочитать их обратно из файла. Единственный способ восстановить значения памяти анонимных страниц — сохранить данные где-нибудь перед освобождением памяти. И это то, что держит своп. Анонимные страницы, на которые вам нужно будет ссылаться снова.

Но обратите внимание, что как для файловых страниц, так и для анонимных страниц освобождение памяти может потребовать записи на жесткий диск. Если данные страницы файла или данные анонимной страницы изменились с тех пор, как они были в последний раз записаны в файл или для обмена, требуется запись файловой системы. Для извлечения данных потребуется чтение файловой системы. Оба типа восстановления страниц являются дорогостоящими. Попытка уменьшить ввод и вывод данных на жесткий диск за счет сведения к минимуму обмена анонимными страницами только увеличивает объем операций ввода и вывода с жесткого диска, необходимых для работы с файловыми страницами, которые записываются в файлы и считываются из них.

Как видно из последнего фрагмента кода, переменных две. Один называется file_prio для «приоритета файла», а другой — anon_prio для «анонимного приоритета».

• Переменной anon_prio присваивается значение подкачки Linux.
• Значение file_prio равно 200 минус значение anon_prio .

Эти переменные содержат значения, которые работают в тандеме. Если они оба установлены на 100, они равны. Для любых других значений anon_prio уменьшится со 100 до 0, а file_prio увеличится со 100 до 200. Эти два значения используются в сложном алгоритме, который определяет, работает ли ядро ​​Linux с предпочтением восстановления (освобождения) файловых страниц или анонимных. страницы.

Вы можете думать о file_prio как о готовности системы освободить файловые страницы, а anon_prio — как о готовности системы освободить анонимные страницы. Чего эти значения не делают, так это не устанавливают какой-либо триггер или порог , когда будет использоваться своп. Это решено в другом месте.

Но когда память необходимо освободить, эти две переменные — и соотношение между ними — учитываются алгоритмами высвобождения и подкачки, чтобы определить, какие типы страниц предпочтительно рассматривать для освобождения. И это определяет, будет ли связанная активность жесткого диска обрабатывать файлы для файловых страниц или пространство подкачки для анонимных страниц.

Когда своп действительно вступает в силу?

Мы установили, что значение swappiness в Linux задает предпочтение для типа страниц памяти, которые будут сканироваться на предмет возможного освобождения. Это нормально, но что- то должно решить , когда включится своп.

Каждая зона памяти имеет верхнюю и нижнюю отметки. Это производные значения системы. Это проценты оперативной памяти в каждой зоне. Именно эти значения используются в качестве порогов срабатывания свопа.

Чтобы проверить, каковы ваши высокие и низкие отметки воды, загляните в файл /proc/zoneinfo с помощью этой команды:

 меньше /proc/zoneinfo 

Каждая из зон будет иметь набор значений памяти, измеряемых в страницах. Вот значения для зоны DMA32 на тестовой машине. Нижняя отметка составляет 13966 страниц, а максимальная — 16759 страниц:

• В нормальных условиях работы, когда свободная память в зоне падает ниже нижней отметки зоны, алгоритм подкачки начинает сканирование страниц памяти в поисках памяти, которую он может восстановить, принимая во внимание относительные значения anon_prio и file_prio .
• Если значение подкачки в Linux установлено равным нулю, подкачка происходит, когда суммарное значение файловых страниц и свободных страниц меньше верхней отметки.

Таким образом, вы можете видеть, что вы не можете использовать значение подкачки Linux, чтобы влиять на поведение подкачки в отношении использования ОЗУ. Это просто так не работает.

На что следует установить Swapiness?

Это зависит от оборудования, рабочей нагрузки, типа жесткого диска и от того, является ли ваш компьютер настольным или серверным. Очевидно, что это не будет универсальным типом настроек.

И вы должны иметь в виду, что подкачка используется не только как механизм для освобождения оперативной памяти, когда у вас заканчивается место в памяти. Подкачка является важной частью хорошо функционирующей системы, и без нее Linux становится очень трудно добиться разумного управления памятью.

Изменение значения подкачки Linux имеет мгновенный эффект; вам не нужно перезагружаться. Таким образом, вы можете вносить небольшие коррективы и следить за эффектами. В идеале вы должны делать это в течение нескольких дней с различными типами активности на вашем компьютере, чтобы попытаться найти максимально близкие к идеальным настройки.

Вот некоторые моменты, которые следует учитывать:

• Попытка «отключить подкачку», установив значение подкачки Linux на ноль, просто смещает активность жесткого диска, связанную с подкачкой, на активность жесткого диска, связанную с файлами.
• Если у вас устаревшие механические жесткие диски, вы можете попробовать уменьшить значение подкачки Linux, чтобы избежать анонимного восстановления страниц и уменьшить отток разделов подкачки. Конечно, если вы уменьшите один параметр, другой параметр возрастет. Уменьшение оттока подкачки, вероятно, увеличит отток файловой системы. Но ваш компьютер может быть счастливее, предпочитая один метод другому. На самом деле, единственный способ узнать наверняка — это попробовать и увидеть.
• Для одноцелевых серверов, таких как серверы баз данных, вы можете получить рекомендации от поставщиков программного обеспечения базы данных. Очень часто эти приложения имеют собственный файловый кэш и процедуры управления памятью, на которые лучше положиться. Поставщики программного обеспечения могут предложить значение подкачки Linux в соответствии со спецификацией машины и рабочей нагрузкой.
• Для среднего пользователя настольного компьютера с относительно новым оборудованием? Оставьте все как есть.

Как установить значение подкачки Linux

Прежде чем изменить значение swappiness, вам нужно знать, каково его текущее значение. Если вы хотите уменьшить его немного, вопрос немного меньше, чем что? Вы можете узнать с помощью этой команды:

 кошка /proc/sys/vm/swappiness 

Чтобы настроить значение swappiness, используйте команду sysctl :

 sudo sysctl vm.swappiness=45 

Новое значение используется сразу, перезагрузка не требуется.

На самом деле, если вы выполните перезагрузку, значение swappiness вернется к своему значению по умолчанию, равному 60. Когда вы закончите экспериментировать и определитесь с новым значением, которое хотите использовать, вы можете сделать его постоянным при перезагрузках, добавив его в /etc/sysctl.conf файл /etc/sysctl.conf . Вы можете использовать любой редактор, который вам больше нравится. Используйте следующую команду для редактирования файла в редакторе nano :

 судо нано /etc/sysctl.conf 

Когда nano откроется, прокрутите файл до конца и добавьте эту строку. Мы используем 35 в качестве постоянного значения swappiness. Вы должны заменить значение, которое хотите использовать.

 vm.swappiness=35 

Чтобы сохранить изменения и выйти из nano , нажмите «Ctrl+O», нажмите «Enter» и нажмите «Ctrl+Z».

Управление памятью сложно

Управление памятью сложное. И именно поэтому обычному пользователю лучше оставить это на усмотрение ядра.

Легко думать, что вы используете больше оперативной памяти, чем есть на самом деле. Такие утилиты, как top и free , могут создать неправильное впечатление. Linux будет использовать свободную оперативную память для различных собственных целей, таких как кэширование диска. Это искусственно увеличивает показатель «используемой» памяти и уменьшает показатель «свободной» памяти. На самом деле оперативная память, используемая в качестве дискового кэша, помечается как «используемая» и «доступная», потому что ее можно очень быстро восстановить в любое время.

Для непосвященных может показаться, что подкачка не работает или что значение подкачки нужно изменить.

Как всегда, дьявол кроется в деталях. Или, в данном случае, демон. Демон подкачки ядра.