在介紹海量文件存儲之前，需要先介紹一下常見的系統(tǒng)里面文件是如何存儲的

文件inode

在linux下，每個文件或者目錄，都會分配一個inode(index node)，它不存儲具體的文件內(nèi)容，而是記錄該文件的基礎信息。每個inode大小一半是100-200kb(畫重點，下面會用)。inode下會記錄：

1. 文件大小、類型；
2. 權限信息，比如所屬組，用戶，訪問控制；
3. 文件的操作時間；
4. 具體數(shù)據(jù)在磁盤的位置；
   文件系統(tǒng)初始化的時候，磁盤空間一般都會分倆部分。一部分就是存儲inode，一部分是真正的存儲文件內(nèi)容。需要注意的系統(tǒng)的inode數(shù)量是有上限的，即系統(tǒng)最多可以存儲多少個文件。有可能磁盤空間還有很多，但inode已經(jīng)被用完；那此時系統(tǒng)無法再分配新的inode，你也依舊無法再存儲新的文件。查看文件占用多少inode，和系統(tǒng)還有多少inode可以用如下倆個命令：

#某一文件inode占用
[root@why /]# stat my_file
File: my_file
Size: 0               Blocks: 0          IO Block: 4096   regular empty file
Device: xx    Inode: 17          Links: 1Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2024-03-26 11:30:27
Modify: 2024-03-26 11:30:27
Change: 2024-03-26 11:30:27#系統(tǒng)inode使用個數(shù)情況，注意是個數(shù)。
[root@why /]# df -i
Filesystem      Inodes IUsed   IFree IUse% Mounted on
tmpfs           203330     100  203230    1% /dev/shm
tmpfs           203330     100  203230    1% /run
tmpfs           203330    200  203130    1% /sys/fs/cgroup#當使用率100%，那系統(tǒng)則無法再新曾文件。
#

海量文件存儲

海量文件的元數(shù)據(jù)管理

海量文件存儲就是數(shù)億數(shù)十億上百億的文件存儲，在如今互聯(lián)網(wǎng)上，海量文件基本是個常態(tài)。圖片、視頻、商品等，很容易達到這個量級。在這個量級下，當前單機系統(tǒng)存儲，是肯定存不下的。比如一個100億的文件，先不考慮inode數(shù)量，光inode的存儲大概就得1個TB，再加上具體的文件內(nèi)容，很容易就超出單機系統(tǒng)了。這是海量文件要解的第一個問題，就是海量文件的元數(shù)據(jù)管理。

海量文件下如何高速支撐文件讀取

假如存儲支撐了這么多的元數(shù)據(jù)，比如單獨搞到機器存儲元數(shù)據(jù)，1TB其實壓力還是可以的；或者多找?guī)着_機器分布式存儲機器。此時會引入第二個問題，海量的文件下如何快速訪問文件。對于一次文件讀取是要先加載inode，找到真實文件存儲位置再去讀具體文件。一般系統(tǒng)為了加速文件訪問，會把inode緩存在系統(tǒng)里(vfscache：https://www.science.unitn.it/~fiorella/guidelinux/tlk/node110.html)。如果這么大量的inode，很難緩存住的，海量文件下如何高速支撐文件讀取。

ceph存儲系統(tǒng)

對于海量文件業(yè)務場景，當前行業(yè)一般都會采用對象存儲組件。比如騰訊云的cos，其他云廠商的對象存儲，還有開源的ceph。
對于ceph來說，常見的塊存儲，文件存儲和對象存儲三種業(yè)務場景，都可以很好的支持。

整體架構

直接搬運自官方

• 客戶端：ceph自己的客戶端。
• 監(jiān)視器：Ceph監(jiān)視器（Ceph-mon）維護集群狀態(tài)的映射，包括監(jiān)視器自身，下邊提到的管理器、OSD、MDS和CRUSH。為了容災設計，通常至少需要三個監(jiān)視器。
• 管理器：Ceph Manager守護進程（Ceph-mgr）負責跟蹤運行時指標和Ceph集群的當前狀態(tài)，包括存儲利用率、當前性能指標和系統(tǒng)負載。
• Ceph OSD:對象存儲守護程序（Ceph OSD，cosd）存儲數(shù)據(jù)，處理數(shù)據(jù)復制、恢復、再平衡，并通過檢查其他Ceph OSD守護程序的心跳來向Ceph監(jiān)視器和管理器提供一些監(jiān)控信息。通常至少需要三個Ceph OSD來實現(xiàn)高可用。
• MDSs:Ceph元數(shù)據(jù)服務器（MDS，Ceph-MDS）存儲Ceph文件系統(tǒng)的元數(shù)據(jù)。Ceph元數(shù)據(jù)服務器允許CephFS用戶運行基本命令（如ls、find等），而不會給Ceph存儲集群帶來負擔。

繼續(xù)補充中…