一、存儲基礎(chǔ)

1）單機存儲設(shè)備

●DAS（直接附加存儲，是直接接到計算機的主板總線上去的存儲）

IDE、SATA、SCSI、SAS、USB 接口的磁盤
所謂接口就是一種存儲設(shè)備驅(qū)動下的磁盤設(shè)備，提供塊級別的存儲

●NAS（網(wǎng)絡(luò)附加存儲，是通過網(wǎng)絡(luò)附加到當(dāng)前主機文件系統(tǒng)之上的存儲）

NFS、CIFS、FTP
文件系統(tǒng)級別的存儲，本身就是一個做好的文件系統(tǒng)，通過nfs接口在用戶空間輸出后，客戶端基于內(nèi)核模塊與遠程主機進行網(wǎng)絡(luò)通信，把它轉(zhuǎn)為好像本地文件系統(tǒng)一樣來使用，這種存儲服務(wù)是沒辦法對它再一次格式化創(chuàng)建文件系統(tǒng)塊的

●SAN（存儲區(qū)域網(wǎng)絡(luò)）

SCSI協(xié)議（只是用來傳輸數(shù)據(jù)的存取操作，物理層使用SCSI線纜來傳輸）、FCSAN（物理層使用光纖來傳輸）、iSCSI（物理層使用以太網(wǎng)來傳輸）
也是一種網(wǎng)絡(luò)存儲，但不同之處在于SAN提供給客戶端主機使用的接口是塊級別的存儲

2）單機存儲的問題

●存儲處理能力不足

傳統(tǒng)的IDE的IO值是100次/秒，SATA固態(tài)磁盤500次/秒，固態(tài)硬盤達到2000-4000次/秒。即使磁盤的IO能力再大數(shù)十倍，也不夠抗住網(wǎng)站訪問高峰期數(shù)十萬、數(shù)百萬甚至上億用戶的同時訪問，這同時還要受到主機網(wǎng)絡(luò)IO能力的限制。

●存儲空間能力不足

單塊磁盤的容量再大，也無法滿足用戶的正常訪問所需的數(shù)據(jù)容量限制。

●單點故障問題

單機存儲數(shù)據(jù)存在單點故障問題

商業(yè)存儲解決方案

EMC、NetAPP、IBM、DELL、華為、浪潮

3）分布式存儲（軟件定義的存儲 SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）
存儲機制會把數(shù)據(jù)分散存儲到多個節(jié)點上，具有高擴展性、高性能、高可用性等優(yōu)點。

分布式存儲的類型

●塊存儲（例如硬盤，一般是一個存儲被一個服務(wù)器掛載使用，適用于容器或虛擬機存儲卷分配、日志存儲、文件存儲）
就是一個裸設(shè)備，用于提供沒有被組織過的存儲空間，底層以分塊的方式來存儲數(shù)據(jù)

●文件存儲（例如NFS，解決塊存儲無法共享問題，可以一個存儲被多個服務(wù)器同時掛載，適用于目錄結(jié)構(gòu)的存儲、日志存儲）
是一種數(shù)據(jù)的組織存放接口，一般是建立在塊級別的存儲結(jié)構(gòu)之上，以文件形式來存儲數(shù)據(jù)，而文件的元數(shù)據(jù)和實際數(shù)據(jù)是分開存儲的

●對象存儲（例如OSS，一個存儲可以被多服務(wù)同時訪問，具備塊存儲的高速讀寫能力，也具備文件存儲共享的特性，適用圖片存儲、視頻存儲）
基于API接口提供的文件存儲，每一個文件都是一個對象，且文件大小各不相同的，文件的元數(shù)據(jù)和實際數(shù)據(jù)是存放在一起的

二、Ceph 簡介

Ceph使用C++語言開發(fā)，是一個開放、自我修復(fù)和自我管理的開源分布式存儲系統(tǒng)。具有高擴展性、高性能、高可靠性的優(yōu)點。

Ceph目前已得到眾多云計算廠商的支持并被廣泛應(yīng)用。RedHat及OpenStack，Kubernetes都可與Ceph整合以支持虛擬機鏡像的后端存儲。

粗略估計，我國70%—80%的云平臺都將Ceph作為底層的存儲平臺，由此可見Ceph儼然成為了開源云平臺的標(biāo)配。目前國內(nèi)使用Ceph搭建分布式存儲系統(tǒng)較為成功的企業(yè)有華為、阿里、中興、華三、浪潮、中國移動、網(wǎng)易、樂視、360、星辰天合存儲、杉巖數(shù)據(jù)等。?

三、Ceph 優(yōu)勢

• 高擴展性：去中心化，支持使用普通X86服務(wù)器，支持上千個存儲節(jié)點的規(guī)模，支持TB到EB級的擴展。
• 高可靠性：沒有單點故障，多數(shù)據(jù)副本，自動管理，自動修復(fù)。
• 高性能：摒棄了傳統(tǒng)的集中式存儲元數(shù)據(jù)尋址的方案，采用 CRUSH 算法，數(shù)據(jù)分布均衡，并行度高。
• 功能強大：Ceph是個大一統(tǒng)的存儲系統(tǒng)，集塊存儲接口（RBD）、文件存儲接口（CephFS）、對象存儲接口（RadosGW）于一身，因而適用于不同的應(yīng)用場景。

四、Ceph 架構(gòu)

自下向上，可以將Ceph系統(tǒng)分為四個層次:

●RADOS 基礎(chǔ)存儲系統(tǒng)（Reliab1e，Autonomic，Distributed object store，即可靠的、自動化的、分布式的對象存儲）

RADOS是Ceph最底層的功能模塊，是一個無限可擴容的對象存儲服務(wù)，能將文件拆解成無數(shù)個對象（碎片）存放在硬盤中，大大提高了數(shù)據(jù)的穩(wěn)定性。它主要由OSD和Monitor兩個組件組成，OSD和Monitor都可以部署在多臺服務(wù)器中，這就是ceph分布式的由來，高擴展性的由來。

●LIBRADOS 基礎(chǔ)庫

Librados提供了與RADOS進行交互的方式，并向上層應(yīng)用提供Ceph服務(wù)的API接口，因此上層的RBD、RGW和CephFS都是通過Librados訪問的，目前提供PHP、Ruby、Java、Python、Go、C和C++支持，以便直接基于RADOS（而不是整個Ceph）進行客戶端應(yīng)用開發(fā)。

●高層應(yīng)用接口：包括了三個部分

1）對象存儲接口 RGW（RADOS Gateway）
網(wǎng)關(guān)接口，基于Librados開發(fā)的對象存儲系統(tǒng)，提供S3和Swift兼容的RESTful API接口。

2）塊存儲接口 RBD（Reliable Block Device）
基于Librados提供塊設(shè)備接口，主要用于Host/VM。

3）文件存儲接口 CephFS（Ceph File System）
Ceph文件系統(tǒng)，提供了一個符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)，它使用Ceph存儲集群在文件系統(tǒng)上存儲用戶數(shù)據(jù)?；贚ibrados提供的分布式文件系統(tǒng)接口。

●應(yīng)用層：基于高層接口或者基礎(chǔ)庫Librados開發(fā)出來的各種APP，或者Host、VM等諸多客戶端

五、Ceph 核心組件

Ceph是一個對象式存儲系統(tǒng)，它把每一個待管理的數(shù)據(jù)流（如文件等數(shù)據(jù)）切分為一到多個固定大小（默認(rèn)4兆）的對象數(shù)據(jù)（Object），并以其為原子單元（原子是構(gòu)成元素的最小單元）完成數(shù)據(jù)的讀寫。

●OSD（Object Storage Daemon，守護進程 ceph-osd）
是負(fù)責(zé)物理存儲的進程，一般配置成和磁盤一一對應(yīng)，一塊磁盤啟動一個OSD進程。主要功能是存儲數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)，以及與其它OSD間進行心跳檢查，負(fù)責(zé)響應(yīng)客戶端請求返回具體數(shù)據(jù)的進程等。通常至少需要3個OSD來實現(xiàn)冗余和高可用性。

●PG（Placement Group 歸置組）
PG 是一個虛擬的概念而已，物理上不真實存在。它在數(shù)據(jù)尋址時類似于數(shù)據(jù)庫中的索引：Ceph 先將每個對象數(shù)據(jù)通過HASH算法固定映射到一個 PG 中，然后將 PG 通過 CRUSH 算法映射到 OSD。

●Pool
Pool 是存儲對象的邏輯分區(qū)，它起到 namespace 的作用。每個 Pool 包含一定數(shù)量（可配置）的 PG。Pool 可以做故障隔離域，根據(jù)不同的用戶場景統(tǒng)一進行隔離。

Pool中數(shù)據(jù)保存方式支持兩種類型：

●多副本（replicated）：類似 raid1，一個對象數(shù)據(jù)默認(rèn)保存 3 個副本，放在不同的 OSD
●糾刪碼（Erasure Code）：類似 raid5，對 CPU 消耗稍大，但是節(jié)約磁盤空間，對象數(shù)據(jù)保存只有 1 個副本。由于Ceph部分功能不支持糾刪碼池，此類型存儲池使用不多

Pool、PG 和 OSD 的關(guān)系：

一個Pool里有很多個PG；一個PG里包含一堆對象，一個對象只能屬于一個PG；PG有主從之分，一個PG分布在不同的OSD上（針對多副本類型）

●Monitor（守護進程 ceph-mon）
用來保存OSD的元數(shù)據(jù)。負(fù)責(zé)維護集群狀態(tài)的映射視圖（Cluster Map：OSD Map、Monitor Map、PG Map 和 CRUSH Map），維護展示集群狀態(tài)的各種圖表， 管理集群客戶端認(rèn)證與授權(quán)。一個Ceph集群通常至少需要 3 或 5 個（奇數(shù)個）Monitor 節(jié)點才能實現(xiàn)冗余和高可用性，它們通過 Paxos 協(xié)議實現(xiàn)節(jié)點間的同步數(shù)據(jù)。

●Manager（守護進程 ceph-mgr）
負(fù)責(zé)跟蹤運行時指標(biāo)和 Ceph 集群的當(dāng)前狀態(tài)，包括存儲利用率、當(dāng)前性能指標(biāo)和系統(tǒng)負(fù)載。為外部監(jiān)視和管理系統(tǒng)提供額外的監(jiān)視和接口，例如 zabbix、prometheus、 cephmetrics 等。一個 Ceph 集群通常至少需要 2 個 mgr 節(jié)點實現(xiàn)高可用性，基于 raft 協(xié)議實現(xiàn)節(jié)點間的信息同步。

●MDS（Metadata Server，守護進程 ceph-mds）
是 CephFS 服務(wù)依賴的元數(shù)據(jù)服務(wù)。負(fù)責(zé)保存文件系統(tǒng)的元數(shù)據(jù)，管理目錄結(jié)構(gòu)。對象存儲和塊設(shè)備存儲不需要元數(shù)據(jù)服務(wù)；如果不使用 CephFS 可以不安裝。

六、OSD 存儲后端

OSD 有兩種方式管理它們存儲的數(shù)據(jù)。在 Luminous 12.2.z 及以后的發(fā)行版中，默認(rèn)（也是推薦的）后端是 BlueStore。在 Luminous 發(fā)布之前， 默認(rèn)是 FileStore， 也是唯一的選項。
●Filestore
FileStore是在Ceph中存儲對象的一個遺留方法。它依賴于一個標(biāo)準(zhǔn)文件系統(tǒng)（只能是XFS)，并結(jié)合一個鍵/值數(shù)據(jù)庫（傳統(tǒng)上是LevelDB，現(xiàn)在BlueStore是RocksDB），用于保存和管理元數(shù)據(jù)。
FileStore經(jīng)過了良好的測試，在生產(chǎn)中得到了廣泛的應(yīng)用。然而，由于它的總體設(shè)計和對傳統(tǒng)文件系統(tǒng)的依賴，使得它在性能上存在許多不足。

●Bluestore
BlueStore是一個特殊用途的存儲后端，專門為OSD工作負(fù)載管理磁盤上的數(shù)據(jù)而設(shè)計。BlueStore 的設(shè)計是基于十年來支持和管理 Filestore 的經(jīng)驗。BlueStore 相較于 Filestore，具有更好的讀寫性能和安全性。

BlueStore 的主要功能包括：

1）BlueStore直接管理存儲設(shè)備，即直接使用原始塊設(shè)備或分區(qū)管理磁盤上的數(shù)據(jù)。這樣就避免了抽象層的介入（例如本地文件系統(tǒng)，如XFS)，因為抽象層會限制性能或增加復(fù)雜性。
2）BlueStore使用RocksDB進行元數(shù)據(jù)管理。RocksDB的鍵/值數(shù)據(jù)庫是嵌入式的，以便管理內(nèi)部元數(shù)據(jù)，包括將對象名稱映射到磁盤上的塊位置。
3）寫入BlueStore的所有數(shù)據(jù)和元數(shù)據(jù)都受一個或多個校驗和的保護。未經(jīng)驗證，不會從磁盤讀取或返回給用戶任何數(shù)據(jù)或元數(shù)據(jù)。
4）支持內(nèi)聯(lián)壓縮。數(shù)據(jù)在寫入磁盤之前可以選擇性地進行壓縮。
5）支持多設(shè)備元數(shù)據(jù)分層。BlueStore允許將其內(nèi)部日志（WAL預(yù)寫日志）寫入單獨的高速設(shè)備（如SSD、NVMe或NVDIMM)，以提高性能。如果有大量更快的可用存儲，則可以將內(nèi)部元數(shù)據(jù)存儲在更快的設(shè)備上。
6）支持高效的寫時復(fù)制。RBD和CephFS快照依賴于在BlueStore中有效實現(xiàn)的即寫即復(fù)制克隆機制。這將為常規(guī)快照和擦除編碼池（依賴克隆實現(xiàn)高效的兩階段提交）帶來高效的I/O。

七、Ceph 數(shù)據(jù)的存儲過程

1）客戶端從 mon 獲取最新的 Cluster Map

2）在 Ceph 中，一切皆對象。Ceph 存儲的數(shù)據(jù)都會被切分成為一到多個固定大小的對象（Object）。Object size 大小可以由管理員調(diào)整，通常為 2M 或 4M。
每個對象都會有一個唯一的 OID，由 ino 與 ono 組成：
●ino ：即是文件的 FileID，用于在全局唯一標(biāo)識每一個文件
●ono ：則是分片的編號
比如：一個文件 FileID 為 A，它被切成了兩個對象，一個對象編號0，另一個編號1，那么這兩個文件的 oid 則為 A0 與 A1。
OID 的好處是可以唯一標(biāo)示每個不同的對象，并且存儲了對象與文件的從屬關(guān)系。由于 Ceph 的所有數(shù)據(jù)都虛擬成了整齊劃一的對象，所以在讀寫時效率都會比較高。

3）通過對 OID 使用 HASH 算法得到一個16進制的特征碼，用特征碼與 Pool 中的 PG 總數(shù)取余，得到的序號則是 PGID 。
即 Pool_ID + HASH(OID) % PG_NUM 得到 PGID

4）PG 會根據(jù)設(shè)置的副本數(shù)量進行復(fù)制，通過對 PGID 使用 CRUSH 算法算出 PG 中目標(biāo)主和次 OSD 的 ID，存儲到不同的 OSD 節(jié)點上（其實是把 PG 中的所有對象存儲到 OSD 上）。
即通過 CRUSH(PGID) 得到將 PG 中的數(shù)據(jù)存儲到各個 OSD 組中
CRUSH 是 Ceph 使用的數(shù)據(jù)分布算法，類似一致性哈希，讓數(shù)據(jù)分配到預(yù)期的地方。

八、Ceph 版本發(fā)行生命周期

Ceph從Nautilus版本（14.2.0）開始，每年都會有一個新的穩(wěn)定版發(fā)行，預(yù)計是每年的3月份發(fā)布，每年的新版本都會起一個新的名稱（例如，“Mimic”）和一個主版本號（例如，13代表Mimic，因為“M”是字母表的第13個字母）。

版本號的格式為 x.y.z，x 表示發(fā)布周期（例如，13 代表 Mimic，17 代表 Quincy），y 表示發(fā)布版本類型，即
● x.0.z ：y等于 0，表示開發(fā)版本
● x.1.z ：y等于 1，表示發(fā)布候選版本（用于測試集群）
● x.2.z ：y等于 2，表示穩(wěn)定/錯誤修復(fù)版本（針對用戶）

九、Ceph 集群部署

目前 Ceph 官方提供很多種部署 Ceph 集群的方法，常用的分別是 ceph-deploy，cephadm 和 二進制：
●ceph-deploy ：一個集群自動化部署工具，使用較久，成熟穩(wěn)定，被很多自動化工具所集成，可用于生產(chǎn)部署。

●cephadm ：從 Octopus 和較新的版本版本后使用 cephadm 來部署 ceph 集群，使用容器和 systemd 安裝和管理 Ceph 集群。目前不建議用于生產(chǎn)環(huán)境。

●二進制：手動部署，一步步部署 Ceph 集群，支持較多定制化和了解部署細(xì)節(jié)，安裝難度較大。

1）ceph-deploy 部署 Ceph 集群

Ceph 生產(chǎn)環(huán)境推薦：

1、存儲集群全采用萬兆網(wǎng)絡(luò)
2、集群網(wǎng)絡(luò)（cluster-network，用于集群內(nèi)部通訊）與公共網(wǎng)絡(luò)（public-network，用于外部訪問Ceph集群）分離
3、mon、mds 與 osd 分離部署在不同主機上（測試環(huán)境中可以讓一臺主機節(jié)點運行多個組件）
4、OSD 使用 SATA 亦可
5、根據(jù)容量規(guī)劃集群
6、至強E5 2620 V3或以上 CPU，64GB或更高內(nèi)存
7、集群主機分散部署，避免機柜的電源或者網(wǎng)絡(luò)故障

Ceph 環(huán)境規(guī)劃

主機名	?Public網(wǎng)絡(luò)	?Cluster網(wǎng)絡(luò)	? 角色
admin??	192.168.110.60?		admin（管理節(jié)點負(fù)責(zé)集群整體部署）、client
?node01（/dev/sdb、/dev/sdc、/dev/sdd）??	?192.168.110.100	192.168.120.100	mon、mgr、osd
node02? （/dev/sdb、/dev/sdc、/dev/sdd）	?? 192.168.110.90? ?	?192.168.120.90	mon、mgr、osd
node03（/dev/sdb、/dev/sdc、/dev/sdd）	192.168.110.70?	192.168.120.70? ?	mon、mgr、osd
client	192.168.110.50?		? client

環(huán)境準(zhǔn)備

可選步驟：創(chuàng)建 Ceph 的管理用戶

useradd cephadm
passwd cephadm

visudo
cephadm ALL=(root) NOPASSWD:ALL

1、關(guān)閉 selinux 與防火墻

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

2、根據(jù)規(guī)劃設(shè)置主機名

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

3、配置 hosts 解析

cat >> /etc/hosts << EOF
192.168.110.60? admin
192.168.110.100?node01
192.168.110.90? node02
192.168.110.70? node03
192.168.110.50? client
EOF

4、安裝常用軟件和依賴包

yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

5、在 admin 管理節(jié)點配置 ssh 免密登錄所有節(jié)點

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@admin
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@node01
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@node02
sshpass -p 'zxr123' ssh-copy-id -o StrictHostKeyChecking=no root@node03

6、配置時間同步

systemctl enable --now chronyd
timedatectl set-ntp true?? ??? ??? ??? ???   ?#開啟 NTP
timedatectl set-timezone Asia/Shanghai?? ??? ?#設(shè)置時區(qū)
chronyc -a makestep?? ??? ??? ??? ??? ??? ????#強制同步下系統(tǒng)時鐘
timedatectl status?? ??? ??? ??? ??? ??? ??? ?#查看時間同步狀態(tài)
chronyc sources -v?? ??? ??? ??? ??? ??? ??? ?#查看 ntp 源服務(wù)器信息
timedatectl set-local-rtc 0?? ??? ??? ??? ????#將當(dāng)前的UTC時間寫入硬件時鐘

重啟依賴于系統(tǒng)時間的服務(wù)

systemctl restart rsyslog?
systemctl restart crond

關(guān)閉無關(guān)服務(wù)

systemctl disable --now postfix

7、配置 Ceph yum源

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate

rpm -ivh ceph-release-1-1.el7.noarch.rpm --force

8、執(zhí)行完上面所有的操作之后重啟所有主機（可選）

sync
reboot（poweroff）

在poweroff后添加硬盤和網(wǎng)卡

2）部署 Ceph 集群

1、為所有節(jié)點都創(chuàng)建一個 Ceph 工作目錄，后續(xù)的工作都在該目錄下進行

mkdir -p /etc/ceph

2、安裝 ceph-deploy 部署工具

cd /etc/ceph
yum install -y ceph-deploy

ceph-deploy --version

3、在管理節(jié)點為其它節(jié)點安裝 Ceph 軟件包

ceph-deploy 2.0.1 默認(rèn)部署的是 mimic 版的 Ceph，若想安裝其他版本的 Ceph，可以用 --release 手動指定版本

cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin

ceph-deploy install 本質(zhì)就是在執(zhí)行下面的命令：

yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw

也可采用手動安裝 Ceph 包方式，在其它節(jié)點上執(zhí)行下面的命令將 Ceph 的安裝包都部署上：

sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

4、生成初始配置

在管理節(jié)點運行下述命令，告訴 ceph-deploy 哪些是 mon 監(jiān)控節(jié)點

cd /etc/ceph
ceph-deploy new --public-network 192.168.80.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03

命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.conf????? ??? ??? ??? ?#ceph的配置文件
ceph-deploy-ceph.log?? ??? ?#monitor的日志
ceph.mon.keyring?? ??? ??? ?#monitor的密鑰環(huán)文件

5、在管理節(jié)點初始化 mon 節(jié)點

cd /etc/ceph
ceph-deploy mon create node01 node02 node03?? ??? ??#創(chuàng)建 mon 節(jié)點，由于 monitor 使用 Paxos 算法，其高可用集群節(jié)點數(shù)量要求為大于等于 3 的奇數(shù)臺

ceph-deploy --overwrite-conf mon create-initial?? ??? ?#配置初始化 mon 節(jié)點，并向所有節(jié)點同步配置# --overwrite-conf 參數(shù)用于表示強制覆蓋配置文件

ceph-deploy gatherkeys node01?? ??? ??? ??? ??? ??? ?#可選操作，向 node01 節(jié)點收集所有密鑰

命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.bootstrap-mds.keyring?? ??? ??? ?#引導(dǎo)啟動 mds 的密鑰文件
ceph.bootstrap-mgr.keyring?? ??? ??? ?#引導(dǎo)啟動 mgr 的密鑰文件
ceph.bootstrap-osd.keyring?? ??? ??? ?#引導(dǎo)啟動 osd 的密鑰文件
ceph.bootstrap-rgw.keyring?? ??? ??? ?#引導(dǎo)啟動 rgw 的密鑰文件
ceph.client.admin.keyring?? ??? ???  ?#ceph客戶端和管理端通信的認(rèn)證密鑰，擁有ceph集群的所有權(quán)限
ceph.conf 
ceph-deploy-ceph.log
ceph.mon.keyring

在 mon 節(jié)點上查看自動開啟的 mon 進程

ps aux | grep ceph

在管理節(jié)點查看 Ceph 集群狀態(tài)

cd /etc/ceph
ceph -s

查看 mon 集群選舉的情況

ceph quorum_status --format json-pretty | grep leader

擴容 mon 節(jié)點

ceph-deploy mon add <節(jié)點名稱>

6、部署能夠管理 Ceph 集群的節(jié)點（可選）

可實現(xiàn)在各個節(jié)點執(zhí)行 ceph 命令管理集群

cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03?? ??? ?#向所有 mon 節(jié)點同步配置，確保所有 mon 節(jié)點上的 ceph.conf 內(nèi)容必須一致

ceph-deploy admin node01 node02 node03?? ??? ??? ?#本質(zhì)就是把 ceph.client.admin.keyring 集群認(rèn)證文件拷貝到各個節(jié)點

在 mon 節(jié)點上查看

ls /etc/ceph
ceph.client.admin.keyring ?ceph.conf ?rbdmap ?tmpr8tzyc

cd /etc/ceph
ceph -s

7、部署 osd 存儲節(jié)點

主機添加完硬盤后不要分區(qū)，直接使用

lsblk?

如果是利舊的硬盤，則需要先擦凈（刪除分區(qū)表）磁盤（可選，無數(shù)據(jù)的新硬盤可不做）

cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb

添加 osd 節(jié)點

ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdb

查看 ceph 集群狀態(tài)

ceph -s

ceph osd stat

ceph osd tree

rados df

ssh root@node01 systemctl status ceph-osd@0
ssh root@node02 systemctl status ceph-osd@1
ssh root@node03 systemctl status ceph-osd@2

ceph osd status ? ?#查看 osd 狀態(tài)，需部署 mgr 后才能執(zhí)行

ceph osd df ? ?#查看 osd 容量，需部署 mgr 后才能執(zhí)行

擴容 osd 節(jié)點

cd /etc/ceph
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd

添加 OSD 中會涉及到 PG 的遷移，由于此時集群并沒有數(shù)據(jù)，因此 health 的狀態(tài)很快就變成 OK，如果在生產(chǎn)環(huán)境中添加節(jié)點則會涉及到大量的數(shù)據(jù)的遷移。

8、部署 mgr 節(jié)點

#ceph-mgr守護進程以Active/Standby模式運行，可確保在Active節(jié)點或其ceph-mgr守護進程故障時，其中的一個Standby實例可以在不中斷服務(wù)的情況下接管其任務(wù)。根據(jù)官方的架構(gòu)原則，mgr至少要有兩個節(jié)點來進行工作。

cd /etc/ceph
ceph-deploy mgr create node01 node02

ceph -s

解決 HEALTH_WARN 問題：mons are allowing insecure global_id reclaim問題：
禁用不安全模式：

ceph config set mon auth_allow_insecure_global_id_reclaim false

擴容 mgr 節(jié)點

ceph-deploy mgr create <節(jié)點名稱>

9、開啟監(jiān)控模塊

在 ceph-mgr Active節(jié)點執(zhí)行命令開啟

ceph -s | grep mgr

yum install -y ceph-mgr-dashboard
cd /etc/ceph
ceph mgr module ls | grep dashboard

開啟 dashboard 模塊

ceph mgr module enable dashboard --force

禁用 dashboard 的 ssl 功能

ceph config set mgr mgr/dashboard/ssl false

配置 dashboard 監(jiān)聽的地址和端口

ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 8000

重啟 dashboard

ceph mgr module disable dashboard
ceph mgr module enable dashboard --force

確認(rèn)訪問 dashboard 的 url

ceph mgr services

設(shè)置 dashboard 賬戶以及密碼
?

echo "abc123" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt

? 或

ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt

瀏覽器訪問：http://192.168.110.100:8000 ，賬號密碼為 admin/abc123

十、資源池 Pool 管理

上面我們已經(jīng)完成了 Ceph 集群的部署，但是我們?nèi)绾蜗?Ceph 中存儲數(shù)據(jù)呢？首先我們需要在 Ceph 中定義一個 Pool 資源池。Pool 是 Ceph 中存儲 Object 對象抽象概念。我們可以將其理解為 Ceph 存儲上劃分的邏輯分區(qū)，Pool 由多個 PG 組成；而 PG 通過 CRUSH 算法映射到不同的 OSD 上；同時 Pool 可以設(shè)置副本 size 大小，默認(rèn)副本數(shù)量為 3。

Ceph 客戶端向 monitor 請求集群的狀態(tài)，并向 Pool 中寫入數(shù)據(jù)，數(shù)據(jù)根據(jù) PGs 的數(shù)量，通過 CRUSH 算法將其映射到不同的 OSD 節(jié)點上，實現(xiàn)數(shù)據(jù)的存儲。 這里我們可以把 Pool 理解為存儲 Object 數(shù)據(jù)的邏輯單元；當(dāng)然，當(dāng)前集群沒有資源池，因此需要進行定義。

#創(chuàng)建一個 Pool 資源池，其名字為 mypool，PGs 數(shù)量設(shè)置為 64，設(shè)置 PGs 的同時還需要設(shè)置 PGP（通常PGs和PGP的值是相同的）：
PG (Placement Group)，pg 是一個虛擬的概念，用于存放 object，PGP(Placement Group for Placement purpose)，相當(dāng)于是 pg 存放的一種 osd 排列組合

注：pg數(shù)是可以按照官網(wǎng)上的計算公式計算的

cd /etc/ceph
ceph osd pool create mypool 64 64

查看集群 Pool 信息

ceph osd pool ls ? ?或 ? ?rados lspools
ceph osd lspools

查看資源池副本的數(shù)量

ceph osd pool get mypool size

查看 PG 和 PGP 數(shù)量

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

修改 pg_num 和 pgp_num 的數(shù)量為 128

ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

修改 Pool 副本數(shù)量為 2

ceph osd pool set mypool size 2
ceph osd pool get mypool size

修改默認(rèn)副本數(shù)為 2

vim ceph.conf
......
osd_pool_default_size = 2

?ceph-deploy --overwrite-conf config push node01 node02 node03

刪除 Pool 資源池

1）刪除存儲池命令存在數(shù)據(jù)丟失的風(fēng)險，Ceph 默認(rèn)禁止此類操作，需要管理員先在 ceph.conf 配置文件中開啟支持刪除存儲池的操作

vim ceph.conf
......
[mon]
mon allow pool delete = true

2）推送 ceph.conf 配置文件給所有 mon 節(jié)點

ceph-deploy --overwrite-conf config push node01 node02 node03

?3）所有 mon 節(jié)點重啟 ceph-mon 服務(wù)

systemctl restart ceph-mon.target

4）執(zhí)行刪除 Pool 命令

ceph osd pool rm pool01 pool01 --yes-i-really-really-mean-it