Co to jest zamiana w systemie Linux? (i jak to zmienić)

Wartość swappiness Linuksa nie ma nic wspólnego z ilością pamięci RAM używanej przed rozpoczęciem wymiany. Jest to szeroko komentowany i powszechnie uważany błąd. Wyjaśniamy, co to naprawdę jest.

Obalamy mity o swappie

Swapping to technika, w której dane w pamięci o dostępie swobodnym (RAM) są zapisywane w specjalnej lokalizacji na dysku twardym — partycji wymiany lub pliku wymiany — w celu zwolnienia pamięci RAM.

Linux ma ustawienie zwane wartością swappiness. Istnieje wiele niejasności dotyczących tego, co kontroluje to ustawienie. Najczęstszym niepoprawnym opisem swappiness jest to, że ustawia próg użycia pamięci RAM, a kiedy ilość używanej pamięci RAM osiągnie ten próg, rozpoczyna się zamiana.

Jest to błędne przekonanie, które powtarzano tak często, że teraz otrzymuje się mądrość. Jeśli (prawie) wszyscy mówią Ci, że właśnie tak działa swappiness, dlaczego miałbyś nam wierzyć, kiedy mówimy, że tak nie jest?

Prosty. Udowodnimy to.

Twoja pamięć RAM jest podzielona na strefy

Linux nie myśli o twojej pamięci RAM jako o jednej dużej, jednorodnej puli pamięci. Uważa się, że jest podzielony na wiele różnych regionów zwanych strefami. To, które strefy są obecne na komputerze, zależy od tego, czy jest 32-bitowy, czy 64-bitowy. Oto uproszczony opis możliwych stref na komputerze o architekturze x86.

• Bezpośredni dostęp do pamięci (DMA) : Jest to 16 MB pamięci. Strefa otrzymała swoją nazwę, ponieważ dawno temu istniały komputery, które mogły tylko bezpośrednio uzyskiwać dostęp do pamięci do tego obszaru pamięci fizycznej.
• Direct Memory Access 32 : Pomimo swojej nazwy, Direct Memory Access 32 (DMA32) jest strefą występującą tylko w 64-bitowym systemie Linux. To niskie 4 GB pamięci. Linux działający na komputerach 32-bitowych może wykonać DMA tylko do tej ilości pamięci RAM (chyba że używają jądra rozszerzenia adresu fizycznego (PAE)), stąd nazwa strefy. Chociaż na komputerach 32-bitowych nazywa się to HighMem.
• Normalny : na komputerach 64-bitowych normalna pamięć to cała pamięć RAM powyżej 4 GB (w przybliżeniu). Na maszynach 32-bitowych jest to pamięć RAM od 16 MB do 896 MB.
• HighMem : To istnieje tylko na 32-bitowych komputerach z systemem Linux. To wszystko RAM powyżej 896 MB, w tym RAM powyżej 4 GB na wystarczająco dużych maszynach.

Wartość ROZMIAR STRONY

Pamięć RAM jest alokowana w stronach o stałym rozmiarze. Rozmiar ten jest określany przez jądro w czasie rozruchu, wykrywając architekturę komputera. Zazwyczaj rozmiar strony na komputerze z systemem Linux to 4 KB.

Możesz zobaczyć rozmiar swojej strony za pomocą polecenia getconf :

 getconf ROZMIAR STRONY 

Strefy są dołączone do węzłów

Strefy są dołączone do węzłów. Węzły są powiązane z jednostką centralną (CPU). Jądro spróbuje przydzielić pamięć dla procesu działającego na procesorze z węzła skojarzonego z tym procesorem.

Koncepcja węzłów powiązanych z procesorami pozwala na instalowanie mieszanych typów pamięci w specjalistycznych komputerach wieloprocesorowych z wykorzystaniem architektury Non-Uniform Memory Access.

To wszystko jest bardzo high-endowe. Przeciętny komputer z systemem Linux będzie miał pojedynczy węzeł, zwany węzłem zerowym. Wszystkie strefy będą należeć do tego węzła. Aby zobaczyć węzły i strefy na swoim komputerze, zajrzyj do /proc/buddyinfo . W tym celu użyjemy less :

 mniej /proc/buddyinfo 

Oto dane wyjściowe z komputera 64-bitowego, na którym ten artykuł był badany:

 Węzeł 0, strefa DMA 1 1 1 0 2 1 1 0 1 1 3
Węzeł 0, strefa DMA32 2 67 58 19 8 3 3 1 1 1 17

Jest pojedynczy węzeł, węzeł zero. Ten komputer ma tylko 2 GB pamięci RAM, więc nie ma strefy „normalnej”. Istnieją tylko dwie strefy, DMA i DMA32.

Każda kolumna reprezentuje liczbę dostępnych stron o określonym rozmiarze. Np. dla strefy DMA32 odczyt od lewej:

• 2 : Są 2 z 2^( 0 *PAGESIZE) fragmentów pamięci.
• 67 : Jest 67 z 2^( 1 *PAGE_SIZE) kawałków pamięci.
• 58 : Dostępnych jest 58 z 2^( 2 *ROZMIAR STRONY) dostępnej pamięci.
• I tak dalej, aż do…
• 17 : Jest 17 kawałków 2^( 512 *PAGESIZE).

Ale tak naprawdę jedynym powodem, dla którego patrzymy na te informacje, jest zobaczenie relacji między węzłami i strefami.

Strony plików i strony anonimowe

Mapowanie pamięci wykorzystuje zestawy wpisów tablicy stron do rejestrowania, które strony pamięci są używane i do czego.

Mapowania pamięci mogą być:

• File backed : mapowania oparte na pliku zawierają dane, które zostały odczytane z pliku. Może to być dowolny plik. Ważną rzeczą do zapamiętania jest to, że jeśli system zwolnił tę pamięć i musiał ponownie uzyskać te dane, można je ponownie odczytać z pliku. Ale jeśli dane zostały zmienione w pamięci, zmiany te będą musiały zostać zapisane w pliku na dysku twardym przed zwolnieniem pamięci. Jeśli tak się nie stanie, zmiany zostaną utracone.
• Anonimowy : Pamięć anonimowa to mapowanie pamięci bez pliku lub urządzenia, które ją obsługuje. Strony te mogą zawierać pamięć żądaną w locie przez programy do przechowywania danych lub dla takich rzeczy, jak stos i sterta. Ponieważ za tego typu danymi nie ma pliku, należy wyznaczyć specjalne miejsce na przechowywanie anonimowych danych. To miejsce to partycja wymiany lub plik wymiany. Anonimowe dane są zapisywane w celu wymiany, zanim anonimowe strony zostaną zwolnione.
• Obsługiwane urządzenia : urządzenia są adresowane za pomocą plików urządzeń blokowych, które mogą być traktowane tak, jakby były plikami. Dane można z nich odczytywać i do nich zapisywać. Mapowanie pamięci oparte na urządzeniu zawiera dane z urządzenia zapisane w nim.
• Shared : Wiele wpisów tabeli stron może być mapowanych na tę samą stronę pamięci RAM. Dostęp do lokalizacji pamięci za pośrednictwem dowolnego mapowania pokaże te same dane. Różne procesy mogą komunikować się ze sobą w bardzo wydajny sposób, zmieniając dane w tych wspólnie obserwowanych lokalizacjach pamięci. Współużytkowane mapowania z możliwością zapisu są powszechnym sposobem uzyskiwania wysokowydajnej komunikacji między procesami.
• Kopiuj przy zapisie : Kopiuj przy zapisie to leniwa technika alokacji. Jeśli zażądano kopii zasobu znajdującego się już w pamięci, żądanie jest spełnione przez zwrócenie mapowania do oryginalnego zasobu. Jeśli jeden z procesów „udostępniających” zasób próbuje do niego pisać, zasób musi być naprawdę zreplikowany w pamięci, aby umożliwić wprowadzenie zmian w nowej kopii. Tak więc alokacja pamięci ma miejsce tylko przy pierwszym poleceniu zapisu.

Jeśli chodzi o zamianę, musimy zająć się tylko dwoma pierwszymi na liście: stronami plików i stronami anonimowymi.

Zamiana

Oto opis swappiness z dokumentacji Linuksa na GitHub:

"This control is used to define how aggressive (sic) the kernel will swap memory pages. Higher values will increase aggressiveness, lower values decrease the amount of swap. A value of 0 instructs the kernel not to initiate swap until the amount of free and file-backed pages is less than the high water mark in a zone.

The default value is 60."

Brzmi to tak, jakby zamiana zmieniała intensywność w górę lub w dół. Co ciekawe, stwierdza, że ​​ustawienie swappiness na zero nie wyłącza zamiany. Instruuje jądro, aby nie wymieniało się, dopóki nie zostaną spełnione określone warunki. Ale zamiana może nadal wystąpić.

Kopnijmy głębiej. Oto definicja i domyślna wartość vm_swappiness w pliku kodu źródłowego jądra vmscan.c:

/*
* From 0 .. 100. Higher means more swappy.
*/
int vm_swappiness = 60;

Wartość swappiness może wynosić od 0 do 100. Ponownie, komentarz z pewnością brzmi tak, jakby wartość swappiness ma wpływ na to, jak dużo ma miejsce zamiana, przy czym wyższa liczba prowadzi do większej wymiany.

W dalszej części pliku z kodem źródłowym widzimy, że nowej zmiennej o nazwie swappiness przypisano wartość zwracaną przez funkcję mem_cgroup_swappiness() . Dalsze śledzenie kodu źródłowego pokaże, że wartość zwracana przez tę funkcję to vm_swappiness . Więc teraz zmienna swappiness jest ustawiona na taką samą wartość, jaka została ustawiona na vm_swappiness .

int swappiness = mem_cgroup_swappiness(memcg);

Nieco dalej w tym samym pliku kodu źródłowego widzimy to:

/*
* With swappiness at 100, anonymous and file have the same priority.
* This scanning priority is essentially the inverse of IO cost.
*/
anon_prio = swappiness;
file_prio = 200 - anon_prio;

To interesujące. Z swappiness wynikają dwie różne wartości. anon_prio i file_prio przechowują te wartości. W miarę wzrostu jednego drugiego maleje i odwrotnie .

Wartość swappiness Linuksa faktycznie określa stosunek między dwiema wartościami.

Złoty podział

Strony plików zawierają dane, które można łatwo odzyskać, jeśli ta pamięć zostanie zwolniona. Linux może po prostu ponownie odczytać plik. Jak widzieliśmy, jeśli dane pliku zostały zmienione w pamięci RAM, te zmiany muszą zostać zapisane w pliku przed zwolnieniem strony pliku. Ale tak czy inaczej, stronę pliku w pamięci RAM można ponownie wypełnić, odczytując dane z pliku. Po co więc zawracać sobie głowę dodawaniem tych stron do partycji wymiany lub pliku wymiany? Jeśli potrzebujesz tych danych ponownie, równie dobrze możesz je odczytać z oryginalnego pliku zamiast z nadmiarowej kopii w przestrzeni wymiany. Więc strony plików nie są przechowywane w swap. Są „przechowywane” z powrotem w oryginalnym pliku.

W przypadku stron anonimowych nie ma podstawowego pliku skojarzonego z wartościami w pamięci. Wartości na tych stronach zostały uzyskane dynamicznie. Nie możesz po prostu wczytać ich z powrotem z pliku. Jedynym sposobem, w jaki można odzyskać anonimowe wartości pamięci strony, jest przechowywanie danych gdzieś przed zwolnieniem pamięci. I to jest to, co zawiera swap. Anonimowe strony, do których będziesz musiał ponownie się odwołać.

Należy jednak pamiętać, że zarówno w przypadku stron plików, jak i stron anonimowych, zwolnienie pamięci może wymagać zapisu na dysku twardym. Jeśli dane strony pliku lub anonimowe dane strony zmieniły się od czasu ostatniego zapisu do pliku lub wymiany, wymagany jest zapis systemu plików. Pobranie danych będzie wymagało odczytu systemu plików. Oba rodzaje odzyskiwania stron są kosztowne. Próba ograniczenia danych wejściowych i wyjściowych dysku twardego poprzez zminimalizowanie wymiany anonimowych stron tylko zwiększa ilość danych wejściowych i wyjściowych dysku twardego, które są wymagane do obsługi stron plików, które są zapisywane i odczytywane z plików.

Jak widać z ostatniego fragmentu kodu, istnieją dwie zmienne. Jeden o nazwie file_prio dla „priorytetu pliku”, a drugi o nazwie anon_prio dla „anonimowego priorytetu”.

• Zmienna anon_prio jest ustawiona na wartość wymiany Linuksa.
• Wartość file_prio jest ustawiona na 200 minus wartość anon_prio .

Te zmienne przechowują wartości, które działają w tandemie. Jeśli oba są ustawione na 100, są równe. Dla wszelkich innych wartości anon_prio zmniejszy się ze 100 do 0, a file_prio wzrośnie ze 100 do 200. Te dwie wartości wpływają na skomplikowany algorytm, który określa, czy jądro Linuksa działa z preferencją odzyskiwania (zwalniania) stron plików, czy anonimowych stron.

Możesz myśleć o file_prio jako o chęci systemu do zwolnienia stron plików, a anon_prio jako o chęci systemu do uwolnienia anonimowych stron. To, czego te wartości nie robią, to ustawianie jakiegokolwiek wyzwalacza lub progu, kiedy zostanie użyty swap. To jest zadecydowane gdzie indziej.

Ale gdy trzeba zwolnić pamięć, te dwie zmienne — i stosunek między nimi — są brane pod uwagę przez algorytmy odzyskiwania i wymiany w celu określenia, które typy stron są preferencyjnie brane pod uwagę do zwolnienia. A to dyktuje, czy powiązana aktywność dysku twardego będzie przetwarzać pliki na strony plików, czy zamieniać przestrzeń na strony anonimowe.

Kiedy Swap faktycznie się włącza?

Ustaliliśmy, że wartość swappiness Linuksa ustawia preferencje dla typu stron pamięci, które będą skanowane w celu potencjalnego odzyskania. W porządku, ale coś musi zadecydować , kiedy nastąpi zamiana.

Każda strefa pamięci ma znak wysokiej wody i niski znak wodny. Są to wartości systemowe. Są to procenty pamięci RAM w każdej strefie. To właśnie te wartości są używane jako progi wyzwalania wymiany.

Aby sprawdzić, jakie są twoje wysokie i niskie znaki wodne, zajrzyj do /proc/zoneinfo za pomocą tego polecenia:

 mniej /proc/zoneinfo 

Każda ze stref będzie miała zestaw wartości pamięci mierzonych w stronach. Oto wartości dla strefy DMA32 na maszynie testowej. Znak niskiego poziomu wody to 13966 stron, a znak wysokiego poziomu to 16759 stron:

• W normalnych warunkach działania, gdy ilość wolnej pamięci w strefie spada poniżej niskiego znaku wodnego strefy, algorytm wymiany rozpoczyna skanowanie stron pamięci w poszukiwaniu pamięci, którą może odzyskać, biorąc pod uwagę względne wartości anon_prio i file_prio .
• Jeśli wartość swappiness Linuksa jest ustawiona na zero, swap występuje, gdy łączna wartość stron pliku i wolnych stron jest mniejsza niż znak wodny.

Widać więc, że nie można użyć wartości swappiness Linuksa do wpływania na zachowanie swap w odniesieniu do użycia pamięci RAM. To po prostu tak nie działa.

Na co należy ustawić zamianę?

Zależy to od sprzętu, obciążenia, typu dysku twardego i tego, czy komputer jest komputerem stacjonarnym, czy serwerem. Oczywiście nie będzie to jeden rozmiar pasujący do wszystkich rodzajów ustawień.

I musisz pamiętać, że swap nie jest używany tylko jako mechanizm zwalniający pamięć RAM, gdy kończy Ci się miejsce w pamięci. Swap jest ważną częścią dobrze działającego systemu, a bez niego rozsądne zarządzanie pamięcią staje się bardzo trudne do osiągnięcia dla Linuksa.

Zmiana wartości wymiany Linuksa ma natychmiastowy efekt; nie musisz restartować. Możesz więc dokonywać drobnych korekt i monitorować efekty. Najlepiej byłoby zrobić to w ciągu kilku dni, z różnymi rodzajami aktywności na komputerze, aby spróbować znaleźć najbliższe idealne ustawienie.

Oto kilka punktów do rozważenia:

• Próba „wyłączenia wymiany” poprzez ustawienie wartości swappiness Linuksa na zero po prostu przesuwa aktywność dysku twardego związaną z wymianą na aktywność dysku twardego związaną z plikiem.
• Jeśli masz starzejące się mechaniczne dyski twarde, możesz spróbować zmniejszyć wartość wymiany Linuksa, aby uniknąć anonimowego odzyskiwania stron i zmniejszyć rotację partycji wymiany. Oczywiście, gdy zmniejszysz jedno ustawienie, drugie ustawienie się zwiększa. Zmniejszenie churn wymiany prawdopodobnie zwiększy churn systemu plików. Ale twój komputer może być szczęśliwszy, faworyzując jedną metodę nad drugą. Naprawdę, jedynym sposobem, aby wiedzieć na pewno, jest spróbować i zobaczyć.
• W przypadku serwerów jednofunkcyjnych, takich jak serwery baz danych, można uzyskać wskazówki od dostawców oprogramowania bazy danych. Bardzo często aplikacje te mają własne, specjalnie zaprojektowane procedury zarządzania pamięcią podręczną plików i pamięcią, na których lepiej byłoby polegać. Dostawcy oprogramowania mogą sugerować wartość wymiany Linuksa zgodnie ze specyfikacją maszyny i obciążeniem.
• Dla przeciętnego użytkownika komputerów stacjonarnych z dość nowym sprzętem? Zostaw to tak, jak jest.

Jak ustawić wartość wymiany Linuksa?

Zanim zmienisz swoją wartość swappiness, musisz wiedzieć, jaka jest jej aktualna wartość. Jeśli chcesz to trochę zredukować, pytanie jest trochę mniejsze niż co? Możesz dowiedzieć się za pomocą tego polecenia:

 kot /proc/sys/vm/swappiness 

Aby skonfigurować wartość swappiness, użyj polecenia sysctl :

 sudo sysctl vm.swappiness=45 

Nowa wartość jest używana od razu, nie jest wymagane ponowne uruchomienie.

W rzeczywistości, jeśli ponownie uruchomisz komputer, wartość swappiness powróci do domyślnej wartości 60. Po zakończeniu eksperymentów i wybraniu nowej wartości, której chcesz użyć, możesz sprawić, że będzie trwała przy ponownym uruchomieniu, dodając ją do /etc/sysctl.conf . Możesz użyć dowolnego edytora. Użyj następującego polecenia, aby edytować plik za pomocą edytora nano :

 sudo nano /etc/sysctl.conf 

Po otwarciu nano przewiń do dołu pliku i dodaj tę linię. Używamy 35 jako stałej wartości wymiany. Powinieneś zastąpić wartość, której chcesz użyć.

 vm.swapiness=35 

Aby zapisać zmiany i wyjść z nano , naciśnij „Ctrl+O”, naciśnij „Enter” i naciśnij „Ctrl+Z”.

Zarządzanie pamięcią jest złożone

Zarządzanie pamięcią jest skomplikowane. I dlatego dla przeciętnego użytkownika zwykle lepiej pozostawić to jądru.

Łatwo jest pomyśleć, że używasz więcej pamięci RAM niż jesteś. Narzędzia takie jak top i free mogą sprawiać złe wrażenie. Linux będzie używał wolnej pamięci RAM do różnych własnych celów, takich jak buforowanie dysku. To sztucznie podnosi wartość „wykorzystanej” pamięci i zmniejsza liczbę „wolnej” pamięci. W rzeczywistości pamięć RAM używana jako pamięć podręczna dysku jest oznaczona jako „używana” i „dostępna”, ponieważ można ją bardzo szybko odzyskać w dowolnym momencie.

Dla niewtajemniczonych, którzy mogą wyglądać na to, że zamiana nie działa lub że wartość swappiness musi zostać zmieniona.

Jak zawsze diabeł tkwi w szczegółach. Lub, w tym przypadku, demona. Demon wymiany jądra.