MongoDB集群的介紹與搭建

一.MongoDB集群的介紹

注意：Mongodb是一個比較流行的NoSQL數(shù)據(jù)庫，它的存儲方式是文檔式存儲，并不是Key-Value形式；

1.1集群的優(yōu)勢和特性

MongoDB集群的優(yōu)勢主要體現(xiàn)在以下幾個方面：

(1)高可用性

MongoDB集群支持主從復(fù)制和故障轉(zhuǎn)移機制，這確保了數(shù)據(jù)的高可用性和冗余性。當主節(jié)點出現(xiàn)故障時，集群可以自動切換到從節(jié)點，保證系統(tǒng)的持續(xù)運行。這種故障轉(zhuǎn)移能力對于維護系統(tǒng)的穩(wěn)定性和可靠性至關(guān)重要。

(2)擴展性

MongoDB集群具有出色的擴展性，可以通過水平擴展來增加系統(tǒng)的處理能力和存儲容量。隨著數(shù)據(jù)量的增加和訪問壓力的增大，只需簡單地添加新的節(jié)點，即可輕松應(yīng)對。這種擴展性使得MongoDB集群能夠適用于各種規(guī)模的數(shù)據(jù)存儲和處理需求。

(3)數(shù)據(jù)分片

MongoDB集群支持數(shù)據(jù)分片功能，可以將數(shù)據(jù)劃分為多個分片，并部署在不同的節(jié)點上。這種數(shù)據(jù)分片機制不僅提高了系統(tǒng)的讀寫性能，還提供了更大的存儲容量。MongoDB能夠根據(jù)數(shù)據(jù)的分布情況，自動將查詢請求分發(fā)到相應(yīng)的分片上進行處理，從而進一步優(yōu)化了系統(tǒng)的性能。

(4)彈性伸縮

MongoDB集群具有彈性伸縮的能力，可以根據(jù)系統(tǒng)的負載情況進行自動調(diào)整。當負載過高時，可以添加更多的節(jié)點來分擔壓力；當負載較低時，可以減少節(jié)點數(shù)量以節(jié)省資源。這種彈性伸縮機制使得MongoDB集群能夠靈活地應(yīng)對各種負載變化，保持系統(tǒng)的穩(wěn)定性和性能。

(5)靈活性

MongoDB集群提供了靈活的數(shù)據(jù)模型和查詢語言，可以存儲和處理各種類型的數(shù)據(jù)。它支持文檔型、關(guān)系型和圖形型數(shù)據(jù)，并提供了強大的查詢和聚合功能，方便用戶對數(shù)據(jù)進行分析和處理。這種靈活性使得MongoDB集群能夠適用于各種復(fù)雜的數(shù)據(jù)存儲和處理場景。

(6)數(shù)據(jù)安全與容災(zāi)

MongoDB集群通過數(shù)據(jù)冗余和備份機制，提供了數(shù)據(jù)的安全性和容災(zāi)功能。即使某個節(jié)點出現(xiàn)故障，其他節(jié)點仍然可以正常運行，并保證數(shù)據(jù)的一致性和完整性。此外，MongoDB還支持跨地域的數(shù)據(jù)復(fù)制和容災(zāi)部署，進一步提高了數(shù)據(jù)的安全性和可靠性。

然而，也需要注意到MongoDB集群的一些潛在挑戰(zhàn)，如配置復(fù)雜性、成本較高以及數(shù)據(jù)一致性等問題。在實際應(yīng)用中，需要根據(jù)具體的需求和資源情況來選擇合適的集群類型和配置方案，并進行合理的優(yōu)化和維護以確保系統(tǒng)的性能和穩(wěn)定性。

綜上所述，MongoDB集群具有高可用性、擴展性、數(shù)據(jù)分片、彈性伸縮、靈活性和數(shù)據(jù)安全與容災(zāi)等優(yōu)勢，適用于各種大規(guī)模數(shù)據(jù)存儲和處理的場景。

二.MongoDB集群的搭建

主要介紹三種集群方式的搭建過程：

2.1Replica Set(副本集)方式

主節(jié)點-備節(jié)點-仲裁節(jié)點

是集群當中包含了多份數(shù)據(jù)，保證主節(jié)點掛掉了，備節(jié)點能繼續(xù)提供數(shù)據(jù)服務(wù)，提供的前提就是數(shù)據(jù)需要和主節(jié)點一致。

其中，Mongodb(M)表示主節(jié)點，Mongodb(S)表示備節(jié)點，Mongodb(A)表示仲裁節(jié)點。主備節(jié)點存儲數(shù)據(jù)，仲裁節(jié)點不存儲數(shù)據(jù)?？蛻舳送瑫r連接主節(jié)點與備節(jié)點，不連接仲裁節(jié)點。

默認設(shè)置下，主節(jié)點提供所有增刪查改服務(wù)，備節(jié)點不提供任何服務(wù)。但是可以通過設(shè)置使備節(jié)點提供查詢服務(wù)，這樣就可以減少主節(jié)點的壓力，當客戶端進行數(shù)據(jù)查詢時，請求自動轉(zhuǎn)到備節(jié)點上。這個設(shè)置叫做Read Preference Modes，同時Java客戶端提供了簡單的配置方式，可以不必直接對數(shù)據(jù)庫進行操作。

仲裁節(jié)點是一種特殊的節(jié)點，它本身并不存儲數(shù)據(jù)，主要的作用是決定哪一個備節(jié)點在主節(jié)點掛掉之后提升為主節(jié)點，所以客戶端不需要連接此節(jié)點。這里雖然只有一個備節(jié)點，但是仍然需要一個仲裁節(jié)點來提升備節(jié)點級別。我開始也不相信必須要有仲裁節(jié)點，但是自己也試過沒仲裁節(jié)點的話，主節(jié)點掛了備節(jié)點還是備節(jié)點，所以咱們還是需要它的。

（1）建立數(shù)據(jù)文件夾

一般情況下不會把數(shù)據(jù)目錄建立在mongodb的解壓目錄下，不過這里方便起見，就建在mongodb解壓目錄下吧。

mkdir -p /mongodb/data/master 
mkdir -p /mongodb/data/slaver 
mkdir -p /mongodb/data/arbiter  
#三個目錄分別對應(yīng)主，備，仲裁節(jié)點

（2）建立配置文件

由于配置比較多，所以我們將配置寫到文件里。

#master.conf
dbpath=/mongodb/data/master
logpath=/mongodb/log/master.log
pidfilepath=/mongodb/master.pid
directoryperdb=true
logappend=true
replSet=testrs
bind_ip=10.10.148.130
port=27017
oplogSize=10000
fork=true
noprealloc=true

#slaver.conf
dbpath=/mongodb/data/slaver
logpath=/mongodb/log/slaver.log
pidfilepath=/mongodb/slaver.pid
directoryperdb=true
logappend=true
replSet=testrs
bind_ip=10.10.148.131
port=27017
oplogSize=10000
fork=true
noprealloc=true

#arbiter.conf
dbpath=/mongodb/data/arbiter
logpath=/mongodb/log/arbiter.log
pidfilepath=/mongodb/arbiter.pid
directoryperdb=true
logappend=true
replSet=testrs
bind_ip=10.10.148.132
port=27017
oplogSize=10000
fork=true
noprealloc=true

參數(shù)解讀：

dbpath：數(shù)據(jù)存放目錄

port：mongodb進程所使用的端口號，默認為27017

logpath：日志存放路徑、bind_ip：mongodb所綁定的ip地址

oplogSize：mongodb操作日志文件的最大大小。單位為Mb，默認為硬盤剩余空間的5%

pidfilepath：進程文件，方便停止mongodb

fork：以后臺方式運行進程

directoryperdb：為每一個數(shù)據(jù)庫按照數(shù)據(jù)庫名建立文件夾存放

noprealloc：不預(yù)先分配存儲、replSet：replica set的名字

logappend：以追加的方式記錄日志

（3）啟動mongodb

進入每個mongodb節(jié)點的bin目錄下

./monood -f master.conf
./mongod -f slaver.conf
./mongod -f arbiter.conf

（4）配置主，備，仲裁節(jié)點

可以通過客戶端連接mongodb，也可以直接在三個節(jié)點中選擇一個連接mongodb。

./mongo 10.10.148.130:27017   #ip和port是某個節(jié)點的地址
>use admin
>cfg={ _id:"testrs", members:[ {_id:0,host:'10.10.148.130:27017',priority:2}, {_id:1,host:'10.10.148.131:27017',priority:1}, 
{_id:2,host:'10.10.148.132:27017',arbiterOnly:true}] };
>rs.initiate(cfg)             #使配置生效

cfg是可以任意的名字，當然最好不要是mongodb的關(guān)鍵字，conf，config都可以。最外層的_id表示replica set的名字，members里包含的是所有節(jié)點的地址以及優(yōu)先級。優(yōu)先級最高的即成為主節(jié)點，即這里的10.10.148.130:27017。特別注意的是，對于仲裁節(jié)點，需要有個特別的配置——arbiterOnly:true。這個千萬不能少了，不然主備模式就不能生效。
? ? ? 配置的生效時間根據(jù)不同的機器配置會有長有短，配置不錯的話基本上十幾秒內(nèi)就能生效，有的配置需要一兩分鐘。如果生效了，執(zhí)行rs.status()命令會看到如下信息：

{"set" : "testrs","date" : ISODate("2013-01-05T02:44:43Z"),"myState" : 1,"members" : [{"_id" : 0,"name" : "10.10.148.130:27017","health" : 1,"state" : 1,"stateStr" : "PRIMARY","uptime" : 200,"optime" : Timestamp(1357285565000, 1),"optimeDate" : ISODate("2013-01-04T07:46:05Z"),"self" : true},{"_id" : 1,"name" : "10.10.148.131:27017","health" : 1,"state" : 2,"stateStr" : "SECONDARY","uptime" : 200,"optime" : Timestamp(1357285565000, 1),"optimeDate" : ISODate("2013-01-04T07:46:05Z"),"lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),"pingMs" : 0},{"_id" : 2,"name" : "10.10.148.132:27017","health" : 1,"state" : 7,"stateStr" : "ARBITER","uptime" : 200,"lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),"pingMs" : 0}],"ok" : 1
}

如果配置正在生效，其中會包含如下信息：

"stateStr" : "RECOVERING"

同時可以查看對應(yīng)節(jié)點的日志，發(fā)現(xiàn)正在等待別的節(jié)點生效或者正在分配數(shù)據(jù)文件。
? ? ? ?現(xiàn)在基本上已經(jīng)完成了集群的所有搭建工作。至于測試工作，可以留給大家自己試試。一個是往主節(jié)點插入數(shù)據(jù)，能從備節(jié)點查到之前插入的數(shù)據(jù)（查詢備節(jié)點可能會遇到某個問題，可以自己去網(wǎng)上查查看）。二是停掉主節(jié)點，備節(jié)點能變成主節(jié)點提供服務(wù)。三是恢復(fù)主節(jié)點，備節(jié)點也能恢復(fù)其備的角色，而不是繼續(xù)充當主的角色。二和三都可以通過rs.status()命令實時查看集群的變化。

2.2Sharding方式

主節(jié)點-備節(jié)點-仲裁節(jié)點-路由節(jié)點

和Replica Set類似，都需要一個仲裁節(jié)點，但是Sharding還需要配置節(jié)點和路由節(jié)點。就三種集群搭建方式來說，這種是最復(fù)雜的。

(1)啟動數(shù)據(jù)節(jié)點

./mongod --fork --dbpath ../data/set1/ --logpath ../log/set1.log --replSet test #192.168.4.43
./mongod --fork --dbpath ../data/set2/ --logpath ../log/set2.log --replSet test #192.168.4.44
./mongod --fork --dbpath ../data/set3/ --logpath ../log/set3.log --replSet test #192.168.4.45 決策 不存儲數(shù)據(jù)

(2)啟動配置節(jié)點

./mongod --configsvr --dbpath ../config/set1/ --port 20001 --fork --logpath ../log/conf1.log #192.168.4.30
./mongod --configsvr --dbpath ../config/set2/ --port 20002 --fork --logpath ../log/conf2.log #192.168.4.31

(3)啟動路由節(jié)點

./mongos --configdb 192.168.4.30:20001,192.168.4.31:20002 --port 27017 --fork --logpath ../log/root.log #192.168.4.29

這里我們沒有用配置文件的方式啟動，其中的參數(shù)意義大家應(yīng)該都明白。一般來說一個數(shù)據(jù)節(jié)點對應(yīng)一個配置節(jié)點，仲裁節(jié)點則不需要對應(yīng)的配置節(jié)點。注意在啟動路由節(jié)點時，要將配置節(jié)點地址寫入到啟動命令里。

（4）配置Replica Set

? ? ? ?這里可能會有點奇怪為什么Sharding會需要配置Replica Set。其實想想也能明白，多個節(jié)點的數(shù)據(jù)肯定是相關(guān)聯(lián)的，如果不配一個Replica Set，怎么標識是同一個集群的呢。這也是人家mongodb的規(guī)定，咱們還是遵守吧。配置方式和之前所說的一樣，定一個cfg，然后初始化配置。

./mongo 192.168.4.43:27017   #ip和port是某個節(jié)點的地址
>use admin
>cfg={ _id:"testrs", members:[ {_id:0,host:'192.168.4.43:27017',priority:2}, {_id:1,host:'192.168.4.44:27017',priority:1}, 
{_id:2,host:'192.168.4.45:27017',arbiterOnly:true}] };
>rs.initiate(cfg)             #使配置生效

（5）?配置Sharding

./mongo 192.168.4.29:27017   #這里必須連接路由節(jié)點
>sh.addShard("test/192.168.4.43:27017") #test表示replica set的名字 當把主節(jié)點添加到shard以后，會自動找到set里的主，備，決策節(jié)點
>db.runCommand({enableSharding:"diameter_test"})    #diameter_test is database name
>db.runCommand( { shardCollection: "diameter_test.dcca_dccr_test",key:{"__avpSessionId":1}})

第一個命令很容易理解，第二個命令是對需要進行Sharding的數(shù)據(jù)庫進行配置，第三個命令是對需要進行Sharding的Collection進行配置，這里的dcca_dccr_test即為Collection的名字。另外還有個key，這個是比較關(guān)鍵的東西，對于查詢效率會有很大的影響，具體可以查看 Shard Key Overview
? ? ? ?到這里Sharding也已經(jīng)搭建完成了，以上只是最簡單的搭建方式，其中某些配置仍然使用的是默認配置。如果設(shè)置不當，會導(dǎo)致效率異常低下，所以建議大家多看看官方文檔再進行默認配置的修改。

2.3Master-Slave方式

主節(jié)點-備節(jié)點

這個是最簡答的集群搭建，不過準確說也不能算是集群，只能說是主備。并且官方已經(jīng)不推薦這種方式，所以在這里只是簡單的介紹下吧，搭建方式也相對簡單。

./mongod --master --dbpath /data/masterdb/      #主節(jié)點./mongod --slave --source <masterip:masterport> --dbpath /data/slavedb/     備節(jié)點

基本上只要在主節(jié)點和備節(jié)點上分別執(zhí)行這兩條命令，Master-Slaver就算搭建完成了。我沒有試過主節(jié)點掛掉后備節(jié)點是否能變成主節(jié)點，不過既然已經(jīng)不推薦了，大家就沒必要去使用了。

?三.自己親測過程

3.1.準備工作

因為我這里的數(shù)據(jù)量不大，所以一般使用帶仲裁節(jié)點的集群即可，沒必要使用帶有路由節(jié)點的；

（1）環(huán)境準備（三臺Centos7的虛擬機）：192.168.32.215 / 192.168.32.216 / 192.168.32.217

（2）機器分配：215為master節(jié)點 , 217為slave節(jié)點 , 216為仲裁節(jié)點

（3）安裝包下載：使用wget來下載，版本為4.4.5，想要其他的版本自己可以更換：

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.4.5.tgz

將安裝包用scp命令傳輸?shù)搅硗鈨膳_上；?

3.2.進行配置

（1）目錄準備

三臺機器的目錄盡量一致，我這里都存放解壓后的目錄為/opt/hadoop

創(chuàng)建目錄：

215機器：

#在opt下創(chuàng)建hadoop
mkdir /opt/hadoop
#將安裝包解壓到hadoop下
tar -zxvf mongodb-linux-x86_64-rhel70-4.4.5.tgz  -C /opt/hadoop/
#解壓的目錄形式為:/opt/hadoop/mongo4.4
#我這里修改為了:/opt/hadoop/mongodb4.4為了方便，然后就在mongodb4.4里面執(zhí)行下面的操作#數(shù)據(jù)存文的目錄
mkdir -p data/master 
#日志目錄
mkdir logs  
#配置目錄
mkdir conf  
cd logs 
#日志文件
touch master.log 
cd conf
#配置文件
touch mongodb.conf 

如同下面得圖中表現(xiàn)：

217機器：

同上述節(jié)點：

mkdir -p data/slave
mkdir logs
mkdir conf
cd logs
touch slave.log
cd conf
touch mongodb.conf

216機器：

同上述節(jié)點：

mkdir -p data/arbite
mkdir logs
mkdir conf
cd logs
touch arbite.log
cd conf
touch mongodb.conf

（2）編輯配置文件

215節(jié)點（Master）:

編輯mongodb.conf

#master配置
#數(shù)據(jù)存放路徑
dbpath=/opt/hadoop/mongodb4.4/data/master  
#日志路徑
logpath=/opt/hadoop/mongodb4.4/logs/master.log 
#以追加的方式記錄日志 
logappend=true
#mongoDB進程所綁定的ip地址
bind_ip=192.168.32.215
#端口號，默認端口號為27017  
port=27017
#以后臺方式運行進程 
fork=true 
#4.33版本后已經(jīng)取消
#noprealloc=true 
#集群名稱
replSet=test  

217節(jié)點（Slave）:

編輯mongodb.conf

#slave配置
dbpath=/opt/hadoop/mongodb4.4/data/slave
logpath=/opt/hadoop/mongodb4.4/logs/slave.log
logappend=true
bind_ip=192.168.32.217
port=27017
fork=true
#noprealloc=true
replSet=test

216節(jié)點（arbite仲裁節(jié)點）:

編輯mongodb.conf

#仲裁節(jié)點配置
dbpath=/opt/hadoop/mongodb4.4/data/arbite
logpath=/opt/hadoop/mongodb4.4/logs/arbite.log
logappend=true
bind_ip=192.168.32.216
#注意仲裁節(jié)點我給的端口號是27018
port=27018  
fork=true
#noprealloc=true
replSet=test

3.3啟用

分別啟動mongodb

直接輸入如下命令即可，要保證路徑正確即可：

 /opt/hadoop/mongodb4.4/bin/mongod -f /opt/hadoop/mongodb4.4/conf/mongodb.conf

?啟動成功，如下

?（4）再進一步簡單的配置

a.在任意一個節(jié)點上，連接到主節(jié)點

這里ip換成你們配置中的主節(jié)點即可

?b.輸入如下命令（里面ip換成你們自己的即可）：

cfg={_id:"test", members: [ {_id:0,host:'192.168.32.215:27017',priority:2} ,{_id:1,host:'192.168.32.217:27017',priority:1} ,{_id:2,host:'192.168.32.216:27018',arbiterOnly:true}]};

c.初始化集群-讓配置生效

rs.initiate(cfg)?

當你能看到代表成功ok:1

注意：如下是返回的初始化不成功的信息，需要關(guān)閉你們的機器防火墻即可；

?關(guān)閉防火墻的命令：

systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld

?再次執(zhí)行，發(fā)現(xiàn)返回狀態(tài)成功。

d.查看集群狀態(tài)

?OK,測試完畢。

四.總結(jié)

以上三種集群搭建方式首選Replica Set，只有真的是大數(shù)據(jù)，Sharding才能顯現(xiàn)威力，畢竟備節(jié)點同步數(shù)據(jù)是需要時間的。Sharding可以將多片數(shù)據(jù)集中到路由節(jié)點上進行一些對比，然后將數(shù)據(jù)返回給客戶端，但是效率還是比較低的說。大家在應(yīng)用的時候還是多多做下性能測試，畢竟不像Redis有benchmark。

? ? ? ?Mongodb現(xiàn)在用的還是比較多的，但是個人覺得配置太多了，我看官網(wǎng)都看了好多天，才把集群搭建的配置和注意要點弄明白。而且用過的人應(yīng)該知道m(xù)ongodb吃內(nèi)存的問題，解決辦法只能通過ulimit來控制內(nèi)存使用量，但是如果控制不好的話，mongodb會掛掉。