Primary Shard（主分片）

Primary Shard（主分片）是索引數(shù)據(jù)存儲(chǔ)的基本單位，承擔(dān)著數(shù)據(jù)寫入和查詢的職責(zé)。以下是關(guān)于Primary Shard的一些關(guān)鍵點(diǎn)：

1. 數(shù)據(jù)分布：每個(gè)索引在創(chuàng)建時(shí)會(huì)被分成多個(gè)主分片，這些主分片分布在不同的節(jié)點(diǎn)上，以此來(lái)實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)和水平擴(kuò)展。主分片的數(shù)量在索引創(chuàng)建時(shí)設(shè)定并且之后不能更改。
2. 數(shù)據(jù)寫入：當(dāng)新的文檔被寫入Elasticsearch時(shí)，首先會(huì)被寫入到對(duì)應(yīng)的主分片中。這個(gè)過(guò)程涉及到文檔的索引、分析以及存儲(chǔ)。
3. 容錯(cuò)機(jī)制：主分片的存在也提供了故障恢復(fù)的能力。如果某個(gè)節(jié)點(diǎn)發(fā)生故障，其上的主分片可以在其他節(jié)點(diǎn)上通過(guò)副本分片（Replica Shard）自動(dòng)重新分配，保證數(shù)據(jù)的可用性。
4. 查詢路由：查詢操作首先會(huì)路由到相關(guān)的主分片或其副本上執(zhí)行，然后匯總結(jié)果返回給客戶端。這意味著查詢負(fù)載可以被主分片及其副本共同分擔(dān)，提高了查詢效率。
5. 數(shù)據(jù)恢復(fù)與再平衡：在集群擴(kuò)容或縮容時(shí)，Elasticsearch會(huì)自動(dòng)對(duì)主分片進(jìn)行再平衡，以優(yōu)化數(shù)據(jù)分布。此外，在節(jié)點(diǎn)故障后，未分配的主分片會(huì)觸發(fā)故障轉(zhuǎn)移機(jī)制，確保數(shù)據(jù)的完整性和服務(wù)的連續(xù)性。
6. 不可變性：一旦主分片中的數(shù)據(jù)被寫入，它就被視為不可變的。任何更新或刪除操作實(shí)際上都是通過(guò)新增一個(gè)文檔版本來(lái)實(shí)現(xiàn)的，舊版本的文檔最終會(huì)在段合并過(guò)程中被標(biāo)記為已刪除。

ElasticSearch 索引設(shè)計(jì)

1. 基于時(shí)間對(duì)Index進(jìn)行分割

根據(jù)時(shí)間間隔與數(shù)據(jù)產(chǎn)生時(shí)間將數(shù)據(jù)寫入不同的Index中，為了易于區(qū)分，會(huì)在Index的名字中加上對(duì)應(yīng)的時(shí)間標(biāo)識(shí)。

常見(jiàn)的間隔有小時(shí)、天、周和月：先考慮總共要存儲(chǔ)多久的數(shù)據(jù)，然后選一個(gè)既不會(huì)產(chǎn)生大量Index又能夠滿足一定靈活性的間隔，比如你需要存儲(chǔ)6個(gè)月的數(shù)據(jù)，那么一開(kāi)始選擇“周”這個(gè)間隔就會(huì)比較合適。考慮業(yè)務(wù)增長(zhǎng)速度：假如業(yè)務(wù)增長(zhǎng)的特別快，比如上周產(chǎn)生了1億數(shù)據(jù)，這周就增長(zhǎng)到了10億，那么就需要調(diào)低這個(gè)間隔來(lái)保證有足夠的彈性能應(yīng)對(duì)變化。

2.?分片與副本策略

合理分配分片數(shù)量，過(guò)多的分片會(huì)增加管理和查詢的復(fù)雜度，太少則可能限制水平擴(kuò)展能力。Elastic專家根據(jù)經(jīng)驗(yàn)總結(jié)出來(lái)大家普遍認(rèn)為：單個(gè)Shard的存儲(chǔ)大小不超過(guò)30GB。

評(píng)估分片數(shù)量：單個(gè)Index的Primary Shard個(gè)數(shù) = k * 數(shù)據(jù)節(jié)點(diǎn)個(gè)數(shù)。（key為小整數(shù)：1~2）

合理設(shè)置副本，一個(gè)或多個(gè)副本可以提供高可用性和負(fù)載均衡。

3.?映射定義（Mapping）

生產(chǎn)環(huán)境下需要禁用動(dòng)態(tài)映射，明確定義字段的數(shù)據(jù)類型，避免動(dòng)態(tài)映射可能導(dǎo)致的性能問(wèn)題和數(shù)據(jù)不一致。使用合適的數(shù)據(jù)類型，例如使用keyword類型存儲(chǔ)精確值，使用text類型并配合分析器處理全文搜索。應(yīng)用字段長(zhǎng)度限制，避免過(guò)大的文檔導(dǎo)致內(nèi)存溢出。利用norms、doc_values等屬性優(yōu)化存儲(chǔ)和查詢性能。

4.?分析器（Analyzer）

分詞器的主要作用將用戶輸入的一段文本，按照一定邏輯，分析成多個(gè)詞語(yǔ)的一種工具，顧名思義，文本分析就是把全文本轉(zhuǎn)換成一系列單詞（term/token）的過(guò)程，也叫分詞。

根據(jù)內(nèi)容選擇合適的分析器，創(chuàng)建索引時(shí)指定分詞器，搜索時(shí)指定analyzer查詢參數(shù)。

5.?索引模板（Index Templates）

把已經(jīng)創(chuàng)建好的某個(gè)索引的參數(shù)設(shè)置(settings)和索引映射(mapping)保存下來(lái)作為模板，在創(chuàng)建新索引時(shí)，指定要使用的模板名，就可以直接重用已經(jīng)定義好的模板中的設(shè)置和映射。

如果你需要每間隔一定的時(shí)間就建立一次索引，你只需要配置好索引模板，以后就可以直接使用這個(gè)模板中的設(shè)置，不用每次都設(shè)置settings和mappings。

6.?生命周期管理（ILM）

設(shè)定索引的生命周期策略，自動(dòng)進(jìn)行滾動(dòng)、歸檔和刪除，管理索引的存儲(chǔ)和成本。

所以，前期投入時(shí)間進(jìn)行細(xì)致的索引設(shè)計(jì)是必要的，它不僅能夠提升系統(tǒng)的整體性能，還能簡(jiǎn)化后續(xù)的維護(hù)工作，降低長(zhǎng)期運(yùn)營(yíng)成本，確保系統(tǒng)穩(wěn)定可靠地服務(wù)于業(yè)務(wù)需求。

參考:6000+字講透ElasticSearch 索引設(shè)計(jì) -阿里云開(kāi)發(fā)者社區(qū) (aliyun.com)