內(nèi)存分段

程序是由若干個邏輯分段組成的，比如可由代碼分段、數(shù)據(jù)分段、棧段、堆段組成。不同的段是有不同的屬性的，所以就用分段的形式把這些分段分離出來。

分段機制下，虛擬地址和物理地址是如何映射的？

?分段機制下的虛擬地址由兩部分組成，段選擇因子和段內(nèi)偏移量

• ?段選擇因子：保存在段寄存器里面。段選擇因子里面最重要的是段號，用作段表的索引。段表里面保存的是這個段的基地址、段的界限和特權(quán)等級等。
• ?虛擬地址中的段內(nèi)偏移量應(yīng)該位于 0 和段界限之間，如果段內(nèi)偏移量是合法的，就將段基地址加上段內(nèi)偏移量得到物理內(nèi)存地址。

上圖中展示了虛擬地址與物理地址通過段表映射關(guān)系，分段機制會把程序的虛擬地址分成 4 個段，每個段在段表中有一個項，在這一項找到段的基地址，再加上偏移量，于是就能找到物理內(nèi)存中的地址，如下圖：

?如果要訪問段3中偏移量為 500 的虛擬地址，我們可以計算出物理地址為：7000(段3基地址) + 500(偏移量) = 7500。

分段的方法很好，解決了程序本身不需要關(guān)心具體的物理內(nèi)存地址的問題，但是也有一些不足之處：

• 內(nèi)存碎片問題
• 內(nèi)存交換的效率低

分段產(chǎn)生的內(nèi)存碎片問題

假設(shè)有 1 G的物理內(nèi)存，用戶執(zhí)行了多個程序，其中：

• 游戲占用了 512MB 內(nèi)存
• 瀏覽器占用了 128MB 內(nèi)存
• 音樂占用了 256 MB 內(nèi)存

這個時候，如果我們關(guān)閉了瀏覽器，空閑內(nèi)存還有1024-512-256 = 256MB。

如果這個256MB不是連續(xù)的，被分成了兩段128MB內(nèi)存，這就會導(dǎo)致沒有空間再打開一個200MB的程序。

內(nèi)存分段會出現(xiàn)內(nèi)存碎片嗎？

?內(nèi)存碎片主要分為：內(nèi)部內(nèi)存碎片和外部內(nèi)存碎片

內(nèi)存分段管理可以做到段根據(jù)實際需求分配內(nèi)存，所以有多少需求就分配多大的段，所以就不會出現(xiàn)內(nèi)部內(nèi)存碎片。

但是由于每個段的長度不固定，所以多個段未必能恰好使用所有的內(nèi)存空間，會產(chǎn)生多個不連續(xù)的小物理內(nèi)存，導(dǎo)致新的程序無法被裝載，所以會出現(xiàn)外部內(nèi)存碎片的問題。

解決[外部內(nèi)存碎片]的問題就是內(nèi)存交換。

可以把音樂程序占用的那256MB內(nèi)存寫到硬盤上，然后再從硬盤上讀回內(nèi)存里。不過再讀回時，不能裝載到原來的位置，而是緊緊地跟在已經(jīng)被占用的512MB內(nèi)存后面。這樣就能空缺出連續(xù)的256MB內(nèi)存空間，于是新的200MB程序就可以裝載進來。

這個內(nèi)存交換空間，在Linux系統(tǒng)里，也就是?？吹降腟wap空間，這塊空間是從硬盤劃分出來的，用于內(nèi)存與硬盤的空間交換。

分段導(dǎo)致的內(nèi)存交換效率低的問題

對于多進程的系統(tǒng)來說，用分段這個方式，外部內(nèi)存碎片是很容易產(chǎn)生的，產(chǎn)生了外部內(nèi)存碎片，那不得不重新 Swap 內(nèi)存區(qū)域，這個過程會產(chǎn)生性能瓶頸。

因為硬盤的訪問速度比內(nèi)存慢太多了，每一次內(nèi)存交換，都需要把一大段連續(xù)的內(nèi)存數(shù)據(jù)寫到硬盤上。

所以，如果內(nèi)存交換的時候，交換的是一個占用內(nèi)存空間很大的程序，這樣整個機器就會顯得卡頓。

為了解決內(nèi)存分段的[外部內(nèi)存碎片和內(nèi)存交換效率低]的問題，就出現(xiàn)了內(nèi)存分頁。

---

內(nèi)存分頁

分段的好處是能產(chǎn)生連續(xù)的內(nèi)存空間，但是會出現(xiàn) [外部內(nèi)存碎片和內(nèi)存交換·的空間太大] 的問題。

要解決這些問題，那么就要想出能少一些內(nèi)存碎片的辦法。另外，當(dāng)需要進行內(nèi)存交換的時候，讓需要寫入或者從磁盤裝載的數(shù)據(jù)更少一點，這樣就解決問題了。這個辦法也就是內(nèi)存分頁

分頁是把整個虛擬和物理內(nèi)存空間切成一段段固定尺寸的大小。這樣一個連續(xù)并且尺寸固定的內(nèi)存空間，我們叫頁。在Linux下，每一頁的大小為 4KB 。

?虛擬地址與物理地址之間通過頁表來映射，如圖：

?頁表是存儲在內(nèi)存里的，內(nèi)存管理單元(MMU)就做將虛擬內(nèi)存地址轉(zhuǎn)換成物理地址的工作。

當(dāng)進程訪問的虛擬地址在頁表中查不到時，系統(tǒng)會產(chǎn)生一個缺頁異常，進入系統(tǒng)內(nèi)核空間分配物理內(nèi)存，更新進程頁表，最后再返回用戶空間，恢復(fù)進程的運行。

分頁如何解決[外部內(nèi)存碎片和內(nèi)存交換效率低]的問題？

內(nèi)存分頁是由于內(nèi)存空間都是預(yù)先劃分好的，也就不會像內(nèi)存分段那樣，在段與段之間產(chǎn)生間隙非常小的內(nèi)存，這正是分段會產(chǎn)生外部內(nèi)存碎片的原因。而采用了分頁，頁與頁之間是緊密排列的，所以不會有外部碎片。

但是，因為內(nèi)存分頁機制分配內(nèi)存的最小單位是一頁，即使不足一頁大小，我們最少只能分配一頁，所以頁內(nèi)會出現(xiàn)內(nèi)存浪費，所以針對內(nèi)存分頁機制會有內(nèi)部內(nèi)存碎片的現(xiàn)象

如果內(nèi)存空間不夠，操作系統(tǒng)會把其他正在運行的進程中的[最近沒被使用]的內(nèi)存頁面給釋放掉，也就是暫時寫在硬盤上，稱為換出（wap out）。一旦需要的時候，再加載進來，稱為換入（swap in）。所以，一次性寫入磁盤的也只有少數(shù)的一個頁或者幾個頁，不會花太多時間，內(nèi)存交換的效率就相對比較高。

更進一步地，分頁的方式使得我們在加載程序的時候，不再需要一次性把程序都加載到物理內(nèi)存中。我們完全可以在進行虛擬內(nèi)存和物理內(nèi)存的頁之間的映射之后，并不真的把頁加載到物理內(nèi)存里，而是只有在程序運行中，需要用到對應(yīng)虛擬內(nèi)存頁里面的指令和數(shù)據(jù)時，再加載到物理內(nèi)存里面去。

分頁機制下，虛擬地址和物理地址是如何映射的？

在分頁機制下，虛擬地址分為兩部分，頁號和頁內(nèi)偏移。頁號作為頁表的索引，頁表包含物理頁每頁所在物理內(nèi)存的基地址，這個地址與頁內(nèi)偏移的組合就形成了物理內(nèi)存地址，如下圖：

總結(jié):對于一個內(nèi)存地址轉(zhuǎn)換，其實就是這樣三個步驟：

• 把虛擬內(nèi)存地址，切分成頁號和偏移量
• 根據(jù)頁號，從頁表里面，查詢對應(yīng)的物理號
• 直接拿物理頁號，加上前面的偏移量，就得到了物理內(nèi)存地址。

但放到實際的操作系統(tǒng)重，這樣簡單的分頁肯定是有問題的。

簡單分頁的缺陷

有空間上的缺陷。

因為操作系統(tǒng)是可以同時運行非常多的進程的，這就意味著頁表會非常龐大。

在32位的環(huán)境下，虛擬地址空間有 4 GB ，假設(shè)一個頁的大小是 4KB，那么就需要大約100萬個頁，每個[頁表項]需要四個字節(jié)大小來存儲，那么整個4GB空間的映射就需要有4MB的內(nèi)存來存儲頁表。

這4MB大小的頁表看起來不是很大，但是要知道每個進程都是有自己的虛擬地址空間的，也就是說都有自己的頁表。那么 100 個進程的話，就需要 400MB 的內(nèi)存來存儲頁表，這已經(jīng)是非常大的內(nèi)存了，更別說64位系統(tǒng)了。

---

多級頁表

要解決上面的問題就需要采用一種叫做多級頁表的解決方案。（可以理解為將單級頁表進行分組，下面例子中是每1024個單級頁分為一組，如果某一組頁表項沒被用到，就不需要創(chuàng)建該組的二級頁表，節(jié)省了頁表的總空間）

在前面我們知道了，對于單頁表的實現(xiàn)方式，在32位和頁大小為4KB的環(huán)境下，一個進程的頁表需要裝下100多萬個[頁表項]，并且每個頁表項是占用 4 字節(jié)大小的，于是相當(dāng)于每個頁表需占用 4MB 大小的空間。

我們把這個100多萬個[頁表項]的單級頁表再分頁，將頁表(一級頁表)分為 1024 個頁(二級頁表)，每個表(二級頁表)中包含1024個[頁表項]，形成二級分頁：

分了二級表，映射4GB地址空間就需要4KB（一級頁表）+4MB（二級頁表）的內(nèi)存，這樣占用空間不是更大了嗎？

?如果4GB的虛擬地址都映射到了物理內(nèi)存上的話，二級分頁占用空間確實更大了，但是我們往往不會為一個進程分配那么多的內(nèi)存。

每個進程都有4GB的虛擬地址空間，而顯然對于大多數(shù)程序來說，其使用的空間遠達不到4GB，因為會存在部分對應(yīng)的頁表項都是空的根本沒有分配，對于已分配的頁表項，如果存在最近一定時間未訪問的頁表，在物理內(nèi)存緊張的情況下，操作系統(tǒng)會將頁面換出到硬盤，也就是說不會占用物理內(nèi)存。

如果使用了二級分頁，一級頁表就可以覆蓋整個 4GB 虛擬地址空間，但如果某個一級頁表的頁表項沒有被用到，也就不需要創(chuàng)建這個頁表對應(yīng)的二級頁表了，即可以在需要時才創(chuàng)建二級頁表。做個簡單計算，假設(shè)只有20%的一級1頁表項被用到了，那么頁表占用的內(nèi)存空間就只有4KB(一級頁表) + 20%*4MB(二級頁表) = 0.804MB，這對比單級頁表的 4MB 節(jié)省了大量的空間。

為什么不分級的頁表就做不到這樣節(jié)約內(nèi)存呢？

我們從頁表的性質(zhì)來看，保存在內(nèi)存中的頁表承擔(dān)的職責(zé)是將虛擬地址翻譯成物理地址。假如虛擬地址在頁表中找不到對應(yīng)的頁表項，計算機系統(tǒng)就不能工作了。所以頁表一定要覆蓋全部的虛擬地址空間，不分級的頁表就需要有100多萬個頁表項來映射，而二級分頁則只需要1024個頁表項（此時一級頁表覆蓋了全部的虛擬地址空間，二級頁表在需要時創(chuàng)建）

對于64位的系統(tǒng)，兩級分頁肯定不夠，就變成了四級目錄，分別是：

• 全局頁目錄項 PGD
• 上層頁目錄項 PUD
• 中間頁目錄項 PMD
• 頁表項 PTE

---

TLB

多級頁表雖然解決了空間上的問題，但是虛擬地址到物理地址的先轉(zhuǎn)換就多了幾道轉(zhuǎn)換的工序，顯然就降低了這兩地址的轉(zhuǎn)換速度，也就是帶來了時間上的開銷。

程序是有局部性的，即在一段時間內(nèi)，整個程序的執(zhí)行僅限于程序中的某一部分。相應(yīng)地，執(zhí)行所訪問的存儲空間也局限于某個內(nèi)存區(qū)域。

我們就可以利用這一特性，把最常訪問的幾個頁表存儲到訪問速度更快的硬件，于是在CPU芯片中，加入了一個專門存放程序最常訪問頁表項 的 cache，這個cache就是TLB ，通常成為頁表緩存、轉(zhuǎn)址旁路緩存、快表等。

在CPU芯片里面，封裝了內(nèi)存管理單元(MMU)芯片，它用來完成地址轉(zhuǎn)換和TLB的訪問和交互

有了TLB后，CPU尋址時，會先查TLB，如果沒找到，才會繼續(xù)查常規(guī)的頁表。

TLB的命中率其實是很高的，因為程序最常訪問的頁就那么幾個。

---

段頁式內(nèi)存管理

內(nèi)存分段和內(nèi)存分頁并不是對立的，它們是可以組合起來再同一個系統(tǒng)中使用的，那么組合起來后，通常成為段頁式內(nèi)存管理。

段頁式內(nèi)存管理實現(xiàn)方式：

• 先將程序劃分為多個有邏輯意義的段，也就是前面提到的分段機制
• 接著再把每個段劃分為多個頁，也就是對分段劃分出來的連續(xù)空間，再劃分固定大小的頁

這樣地址結(jié)構(gòu)就由 段號、段內(nèi)頁號和頁內(nèi)位移 三部分組成。

用于段頁式地址變換的數(shù)據(jù)結(jié)構(gòu)是每個程序一張段表，每個段又建立一張頁表，段表中的地址是頁表的起始地址，而頁表中的地址為某頁的物理頁號，如圖：

段頁式地址變換中要得到物理地址須經(jīng)過三次內(nèi)存訪問：

• 第一次訪問段表，得到頁表起始地址；
• 第二次訪問頁表，得到物理頁號
• 第三次將物理頁號與頁內(nèi)位移組合，得到物理地址。

可用軟、硬件相結(jié)合的方法實現(xiàn)段頁式地址的變換，這樣雖然增加了硬件成本和系統(tǒng)開銷，但提高了內(nèi)存的利用率。

---

?Linux內(nèi)存布局

intel處理器額的發(fā)展歷史

?

早期的intel的處理器從80286開始使用的是段式內(nèi)存管理。但是很快發(fā)現(xiàn)光有段式內(nèi)存管理而沒有頁式內(nèi)存管理是不夠的，這會使X86系列失去市場的競爭力。因此，在不久以后得80386中就實現(xiàn)了頁式內(nèi)存管理。也就是說，80386除了完成并完善從80286開始的段式內(nèi)存管理的同時還實現(xiàn)了頁式內(nèi)存管理。

??

但是這個80386的頁式內(nèi)存管理設(shè)計時，沒有繞開段式內(nèi)存管理，而是建立在段式內(nèi)存管理的基礎(chǔ)上，這就意味著，頁式內(nèi)存管理的作用是在由段式內(nèi)存管理所映射而成的地址上再加上一層地址映射。

此時由段式內(nèi)存管理映射而成的地址不再是 物理地址 了，Intel就稱之為 線性地址 （也稱為虛擬地址），于是，段式內(nèi)存管理先將邏輯地址映射成線性地址，然后再由分頁內(nèi)存管理將線性地址映射成物理地址。

• 程序所使用的地址，通常是沒被段式內(nèi)存管理映射的地址，稱為邏輯地址
• 通過段式內(nèi)存管理映射的地址，稱為線性地址，或者虛擬地址

Linux內(nèi)存主要采用的是頁式內(nèi)存管理，但同時也不可避免地涉及了段機制。

?這主要是上面Intel處理器發(fā)展歷史導(dǎo)致的，因為Intel X86CPU一律對程序中使用的地址先進行段式映射，然后才能進行頁式映射。

但事實上，Linux內(nèi)核所采取的辦法是使段式映射的過程實際上不起什么作用。

Linux系統(tǒng)中的每個段都從0地址開始的整個 4GB 虛擬空間（32位環(huán)境下），也就是所有的段的起始地址都是一樣的。這意味著，Linux系統(tǒng)中的代碼，包括操作系統(tǒng)本身的代碼和應(yīng)用程序代碼，所面對的地址空間都是線性地址空間（虛擬地址），這種做法相當(dāng)于屏蔽了處理器中邏輯地址的概念，段只被用于訪問控制盒內(nèi)存保護。

Linux的虛擬地址空間如何分布？

在Linux操作系統(tǒng)中，虛擬地址空間的內(nèi)部又被分為內(nèi)核空間和用戶空間兩部分，不同位數(shù)的系統(tǒng)，地址空間的范圍也不同。比如常見的32位和64位系統(tǒng)，如下圖所示：

?這里可以看出：

• ?32 位系統(tǒng)的內(nèi)核空間占 1G ，位于最高處，剩下的 3G 是用戶空間
• 64 位系統(tǒng)的內(nèi)核空間和用戶空間都是128T，分別占據(jù)整個內(nèi)存空間的最高和最低處，剩下的中間部分是未定義的。

內(nèi)核空間和用戶間的區(qū)別：

• 進程在用戶態(tài)時，只能訪問用戶空間內(nèi)存
• 只有在進入內(nèi)核態(tài)的時候才能訪問內(nèi)核空間的內(nèi)存

雖然每個程序都有自己獨立的虛擬地址，但是每個虛擬內(nèi)存中的內(nèi)核地址，其實關(guān)聯(lián)的都是相同的物理內(nèi)存，這樣，進程在切換到內(nèi)核態(tài)后，就可以很方便地訪問內(nèi)核空間內(nèi)存。

?

進一步了解虛擬空間的劃分情況，用戶空間和內(nèi)核空間劃分的方式是不同的。

以32位操作系統(tǒng)為例，用戶空間分布的情況如圖所示：

?通過這張圖，可以看到，用戶空間內(nèi)存從低到高分別是6種不同的內(nèi)存段：

• 代碼段，包括二進制可執(zhí)行代碼
• 數(shù)據(jù)段，包括已初始化的靜態(tài)常量和全局變量
• BSS段，包括未初始化的靜態(tài)變量和全局變量
• 堆段，包括動態(tài)分配的內(nèi)存，從低地址開始向上增長
• 文件映射段，包括動態(tài)庫、共享內(nèi)存等，從低地址開始向上增長
• 棧段，包括局部變量和函數(shù)調(diào)用的上下文等。棧的大小是固定的，一般是 8MB。當(dāng)然系統(tǒng)也提供了參數(shù)，以便我們自定義大小；

上圖中的內(nèi)存布局可以看到，代碼段下面還有一段內(nèi)存空間(灰色部分)，這一塊區(qū)域是[保留區(qū)]，之所以要有保留區(qū)是因為在大多數(shù)系統(tǒng)里，我們認為比較小數(shù)值的地址不是一個合法地址。例如我們通常在C的代碼里會將無效的指針賦值位NULL。因此，這里會出現(xiàn)一段不可訪問的內(nèi)存保留區(qū)，防止程序因為出現(xiàn)BUG，導(dǎo)致讀或?qū)懥艘恍┬?nèi)存地址的數(shù)據(jù)。

---

總結(jié)

為了在多進程的環(huán)境下，使得進程之間的內(nèi)存地址不受影響，相互隔離，于是操作系統(tǒng)就為每個進程單獨分配一套虛擬內(nèi)存地址，每個程序只關(guān)心自己的虛擬地址就可以，實際上大家的虛擬地址都是一樣的，但分布到的物理內(nèi)存地址是不一樣的。

每個進程都有自己的虛擬空間，而物理內(nèi)存只有一個，所以當(dāng)啟用了大量的進程，物理內(nèi)存必然會很緊張，于是操作系統(tǒng)會通過內(nèi)存交換技術(shù)，把不常使用的內(nèi)存暫時存放到硬盤(換出)，在需要的時候再裝載回物理內(nèi)存(換入)。

既然有了虛擬內(nèi)存地址，那必然要把虛擬地址[映射]到物理地址，這個過程通常由操作系統(tǒng)維護。

那么對于虛擬地址和物理地址的映射關(guān)系，可以有分頁和分段的方式，同時結(jié)合兩者[段頁式]也可以。

內(nèi)存分段是根據(jù)程序的邏輯角度，分成了棧段、堆段、數(shù)據(jù)段、代碼段等，這樣可以分離出不同屬性的段，同時是一塊連續(xù)的空間。但是每個段的大小都不是統(tǒng)一的，這就會導(dǎo)致外部內(nèi)存碎片和內(nèi)存交換效率低的問題。

于是，就出現(xiàn)了內(nèi)存分頁，把虛擬空間和物理空間分成大小固定的頁，如在 Linux 系統(tǒng)中，每一頁的大小為?4KB。由于分了頁后，就不會產(chǎn)生細小的內(nèi)存碎片，解決了內(nèi)存分段的外部內(nèi)存碎片問題。同時在內(nèi)存交換的時候，寫入硬盤也就一個頁或幾個頁，這就大大提高了內(nèi)存交換的效率。

為了解決簡單分頁產(chǎn)生的頁表過大的問題，就有了多級頁表，它解決了空間上的問題，但這就會導(dǎo)致 CPU 在尋址的過程中，需要有很多層表參與，加大了時間上的開銷。于是根據(jù)程序的局部性原理，在 CPU 芯片中加入了?TLB，負責(zé)緩存最近常被訪問的頁表項，大大提高了地址的轉(zhuǎn)換速度。

Linux 系統(tǒng)主要采用了分頁管理，但是由于 Intel 處理器的發(fā)展史，Linux 系統(tǒng)無法避免分段管理。于是 Linux 就把所有段的基地址設(shè)為?0，也就意味著所有程序的地址空間都是線性地址空間（虛擬地址），相當(dāng)于屏蔽了 CPU 邏輯地址的概念，所以段只被用于訪問控制和內(nèi)存保護。

另外，Linux 系統(tǒng)中虛擬空間分布可分為用戶態(tài)和內(nèi)核態(tài)兩部分，其中用戶態(tài)的分布：代碼段、全局變量、BSS、函數(shù)棧、堆內(nèi)存、映射區(qū)。