11.1.0語(yǔ)境關(guān)系圖

11.1 Q 建立數(shù)據(jù)倉(cāng)庫(kù)，有哪些步驟？如何建設(shè)？【6 個(gè)步驟非常重要！必須知道】

1. 理解需求（P）（目的明確，ETL）

(1) 考慮業(yè)務(wù)目標(biāo)和業(yè)務(wù)戰(zhàn)略。
(2) 確定業(yè)務(wù)領(lǐng)域并框定范圍。
(3) 訪談，了解業(yè)務(wù)人員需求，問(wèn)題及訪問(wèn)的數(shù)據(jù)。
(4) 掌握關(guān)鍵指標(biāo)和計(jì)算口徑。

2. 定義和維護(hù) DW 和 BI 架構(gòu)（P）

(1) 確定數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能技術(shù)架構(gòu)。
(2) 確定數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能管理流程。

3. 開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市（D）【建立表】

(1) 建立源到目標(biāo)的映射關(guān)系。
(2) 修正和轉(zhuǎn)換數(shù)據(jù)。

4. 加載數(shù)據(jù)倉(cāng)庫(kù)（D）

== (1) 工作量最大的部分。
(2) 延遲要求【時(shí)延決定了數(shù)據(jù)加載方法，實(shí)時(shí)加載/CDC/流數(shù)據(jù)加載】、源可用性、批處理時(shí)間窗口。
(3) 數(shù)據(jù)質(zhì)量問(wèn)題。==

5. 實(shí)施 BI 產(chǎn)品組合（D）【多給幾個(gè)產(chǎn)品，自己編程、PowerBI、Rapidminer等】

== (1) 根據(jù)需要對(duì)用戶進(jìn)行分組。
(2) 將工具與用戶要求匹配。==

6. 維護(hù)數(shù)據(jù)產(chǎn)品（O）

(1) 發(fā)布管理。
(2) 管理數(shù)據(jù)產(chǎn)品開(kāi)發(fā)生命周期。
(3) 監(jiān)控和調(diào)優(yōu)加載過(guò)程。
(4) 監(jiān)控和調(diào)優(yōu)商務(wù)智能活動(dòng)和性能。

11.2 OLAP&OLTP 差別【可能會(huì)考】

Q1：OLAP 和 OLTP 差別有哪些？【多選題】
A1：OLTP 用于日常交易處理，OLAP 用于查詢(xún)、分析、決策；
OLTP 用于簡(jiǎn)單小事務(wù)，操作少量數(shù)據(jù)，OLAP 用于復(fù)雜查詢(xún)、大量數(shù)據(jù)；
OLTP 數(shù)據(jù)一般為當(dāng)前最新數(shù)據(jù)（實(shí)時(shí)），數(shù)據(jù)規(guī)模 GB，OLAP 一般為歷史數(shù)據(jù)（批量），數(shù)據(jù)規(guī)模 TB-PB；
OLTP 一般滿足三范式，OLAP 一般逆規(guī)范化，反范式，星型模型；
OLTP 用戶一般為操作人員、低層管理人員，OLAP 一般為決策人員，高級(jí)管理人員；
OLTP 的 DB 設(shè)計(jì)為面向應(yīng)用，OLAP 設(shè)計(jì)為面向主題；OLTP 軟件技術(shù)為數(shù)據(jù)庫(kù)，OLAP 軟件技術(shù)為數(shù)據(jù)倉(cāng)庫(kù)。

Q2：index 索引（快速搜索）用在 OLAP 還是 OLTP？
A2：OLAP。

Q3：逆規(guī)范化，用在 OLAP 還是 OLTP？
A3：OLAP，OLTP 應(yīng)滿足 3NF。

用作 OLAP 的軟件：Netezza，Hadoop，Hiva（開(kāi)源，不建議用，性能很慢）。

三種經(jīng)典的 OLAP 實(shí)現(xiàn)方法
1）關(guān)系型聯(lián)機(jī)分析處理（ROLAP）。
ROLAP 通過(guò)在在關(guān)系數(shù)據(jù)庫(kù)（RDBMS）的二維表中使用多維技術(shù)來(lái)支持 OLAP。星型架構(gòu)是 ROLAP 環(huán)境中常用的數(shù)據(jù)庫(kù)設(shè)計(jì)技術(shù)。
2）多維矩陣型聯(lián)機(jī)分析處理（MOLAP）。
MOLAP 通過(guò)使用專(zhuān)門(mén)的多維數(shù)據(jù)庫(kù)技術(shù)支持 OLAP?！緮?shù)據(jù)量有限制，現(xiàn)在用的不多】。
3）混合型聯(lián)機(jī)分析處理（HOLAP）。
ROLAP 和 MOLAP 的結(jié)合。HOLAP實(shí)現(xiàn)允許部分?jǐn)?shù)據(jù)以 MOLAP 形式存儲(chǔ)，而另一部分?jǐn)?shù)據(jù)存儲(chǔ)在ROLAP中?？丶膶?shí)現(xiàn)方式各不相同，設(shè)計(jì)師對(duì)分區(qū)的組合也各有不同。

11.3 F2 數(shù)倉(cāng)的主要組件有哪些？【主要 3 個(gè)】’

數(shù)據(jù)倉(cāng)庫(kù)：是一個(gè)由 源系統(tǒng)、數(shù)據(jù)集成 ETL 加載、數(shù)據(jù)存儲(chǔ)區(qū)域 （必須：中央數(shù)據(jù)倉(cāng)庫(kù)，可選：ODS、立方體、數(shù)據(jù)集市、主數(shù)據(jù)、暫存區(qū)）等眾多組件組成的數(shù)據(jù)管理系統(tǒng)。

11.4 商務(wù)智能

商務(wù)智能是一套完整的數(shù)據(jù)解決方案，旨在用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速提供的提供報(bào)表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策的一系列分析活動(dòng)和技術(shù)應(yīng)用，常見(jiàn)的應(yīng)用包括統(tǒng)計(jì)分析、儀表盤(pán)、數(shù)據(jù)大屏等。
（以業(yè)務(wù)人員用數(shù)需求為中心：固定報(bào)表、指標(biāo)多維查詢(xún)分析、明細(xì)數(shù)據(jù)、管理層決策儀表盤(pán)、移動(dòng)端可視化應(yīng)用、數(shù)據(jù)挖掘模型應(yīng)用、數(shù)據(jù)模板）。
Q：商務(wù)智能與數(shù)倉(cāng)、大數(shù)據(jù)區(qū)別？
A：商務(wù)智能 BI 主要用作前端分析展現(xiàn)（統(tǒng)計(jì)分析、儀表盤(pán)、數(shù)據(jù)大屏）（powerBI）。
數(shù)倉(cāng)是后臺(tái)，主要用于管理后端數(shù)據(jù)（hive），數(shù)據(jù)倉(cāng)庫(kù)與商務(wù)智能不一樣，數(shù)據(jù)倉(cāng)庫(kù)強(qiáng)調(diào) BI。
大數(shù)據(jù)強(qiáng)調(diào) AI。

涉及銀行金融機(jī)構(gòu)：客戶領(lǐng)域、風(fēng)控領(lǐng)域、運(yùn)營(yíng)領(lǐng)域。
新客戶獲取模型、客戶交叉營(yíng)銷(xiāo)模型、客戶細(xì)分明細(xì)模型、客戶激活模型、客戶價(jià)值提升模型、客戶維挽模型、支付路徑優(yōu)化模型、客戶經(jīng)營(yíng)能力分析模型、內(nèi)部審計(jì)模型、客戶信用風(fēng)險(xiǎn)預(yù)警模型、貸款控制點(diǎn)分析、盈利能力預(yù)測(cè)模型、網(wǎng)點(diǎn)選址模型。

11.5 F1Inmon 和 Kimball 關(guān)于數(shù)倉(cāng)的差別有哪些？

Inmon（數(shù)據(jù)倉(cāng)庫(kù)之父）關(guān)系型，Kimball 多維性。
企業(yè)信息工廠（Bill Inmon）：企業(yè)信息工廠是兩種主要的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)模式之一，是面向主題的、整合的、隨時(shí)間變化的、包含匯總和明細(xì)的、穩(wěn)定的歷史數(shù)據(jù)集合。
多維數(shù)據(jù)倉(cāng)庫(kù)（Ralph Kimball）：多維數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)的另一個(gè)主要模式，倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)在多維數(shù)據(jù)模型中，以維度和事實(shí)定義。
常見(jiàn)模型包括星型和雪花型等。
Q1：張三，2021 年，上海，賣(mài)出多少車(chē)，維度和指標(biāo)？（多維模型）
A1：4 個(gè)維度（員工張三，時(shí)間 2021 年，地點(diǎn)上海，產(chǎn)品汽車(chē)），1 個(gè)指標(biāo)（多少輛）。


Kimball 圖更清晰（組件及組件之間的關(guān)系，需要了解血緣關(guān)系）。注意 kimball 圖中，右側(cè)數(shù)據(jù)訪問(wèn)工具至數(shù)據(jù)展示區(qū)的訪問(wèn)箭頭，數(shù)據(jù)訪問(wèn)工具中區(qū)分 BI 和 AI，
BI：即席查詢(xún)、報(bào)表撰寫(xiě)、分析型應(yīng)用；
AI：模型預(yù)測(cè)、打分、數(shù)據(jù)挖掘。
考試暫時(shí)不用管上面 2 個(gè)圖。

11.6 F4&Q 數(shù)倉(cāng)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)的相同點(diǎn)和不同點(diǎn)有哪些？【重要】

數(shù)倉(cāng)： 結(jié)構(gòu)化數(shù)據(jù)進(jìn)入數(shù)倉(cāng)、ETL、業(yè)務(wù)場(chǎng)景是明確的，交付物對(duì)已經(jīng)發(fā)生的事情的總結(jié)或展現(xiàn)，側(cè)重 BI；（但也可以做 AI）國(guó)內(nèi)企業(yè)100%。
數(shù)據(jù)湖： 結(jié)構(gòu)化數(shù)據(jù)+非結(jié)構(gòu)化數(shù)據(jù)進(jìn)入數(shù)據(jù)湖，ELT，業(yè)務(wù)場(chǎng)景是不一定明確的，交付物對(duì)未知的預(yù)測(cè)或挖掘，側(cè)重 AI；（也可以做BI）國(guó)內(nèi)企業(yè)40%。
數(shù)據(jù)中臺(tái)： 建設(shè)在數(shù)倉(cāng)、數(shù)據(jù)湖之上，更多的是打標(biāo)簽、歸類(lèi)等工作，平臺(tái)層數(shù)據(jù)在數(shù)倉(cāng)、數(shù)據(jù)湖中，在此基礎(chǔ)上，建設(shè)數(shù)據(jù)中臺(tái)【阿里巴巴圖是關(guān)鍵】）國(guó)內(nèi)企業(yè) 20%。
關(guān)系：數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建了企業(yè)級(jí)的數(shù)據(jù)模型，大數(shù)據(jù)平臺(tái)在此基礎(chǔ)上進(jìn)行拓展，解決了海量、實(shí)時(shí)數(shù)據(jù)的計(jì)算和存儲(chǔ)問(wèn)題，而數(shù)據(jù)中臺(tái)則是將數(shù)據(jù)服務(wù)化后提供給業(yè)務(wù)系統(tǒng)，目標(biāo)是將數(shù)據(jù)能力滲透到各個(gè)業(yè)務(wù)環(huán)節(jié)。

上圖為阿里巴巴示范圖，從下往上（國(guó)外示范圖習(xí)慣從左往右）。
數(shù)據(jù)源→采集與轉(zhuǎn)化→平臺(tái)層→數(shù)據(jù)中臺(tái)。

Q1：采集與轉(zhuǎn)化中，由哪幾部分構(gòu)成？
A1：一般由 4 部分構(gòu)成，
1）結(jié)構(gòu)化數(shù)據(jù)采集 ETL+ESB；
2）非結(jié)構(gòu)化數(shù)據(jù)采集File；
3）實(shí)時(shí)數(shù)據(jù)采集 Kafka+ws；
4）流數(shù)據(jù)（無(wú)法進(jìn)入數(shù)倉(cāng)，需要在數(shù)據(jù)湖中處理）。Q2：阿里巴巴認(rèn)為的平臺(tái)層有哪些？
A2：3+1 數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)（所謂的數(shù)據(jù)湖）、實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)實(shí)驗(yàn)室（不上生產(chǎn)系統(tǒng)，做 POC）。

平臺(tái)層之上為數(shù)據(jù)中臺(tái)（阿里巴巴創(chuàng)造名稱(chēng)，上圖中綠色部分）：主要為指標(biāo)、標(biāo)簽等工作，如精準(zhǔn)營(yíng)銷(xiāo)、業(yè)務(wù)分析、智能客服、客戶洞察、產(chǎn)品洞察、行業(yè)洞察、智能運(yùn)營(yíng)、風(fēng)險(xiǎn)監(jiān)控、財(cái)務(wù)分析、大數(shù)據(jù)運(yùn)維、數(shù)據(jù)可視化、數(shù)據(jù)共享、標(biāo)簽庫(kù)、離線分析、在線分析、海量檢索、機(jī)器學(xué)習(xí)、NLP 自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、知識(shí)圖譜/關(guān)系圖譜。

11.7 F5 數(shù)倉(cāng)和數(shù)據(jù)湖的架構(gòu)圖【最有可能畫(huà)設(shè)計(jì)圖，數(shù)倉(cāng)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)，非常重要！】

數(shù)據(jù)通過(guò)源運(yùn)營(yíng)系統(tǒng)進(jìn)入集結(jié)區(qū)域，可直接到 ODS，也可以進(jìn)入中心倉(cāng)庫(kù)。注意 ODS 雙向箭頭中心倉(cāng)庫(kù)，ODS 不是進(jìn)入數(shù)倉(cāng)的必備環(huán)節(jié)，而是與數(shù)倉(cāng)平級(jí)（阿里巴巴圖是不正確的，ODS 不是貼源層）。最下方 DW 也可以進(jìn)數(shù)據(jù)湖。
右側(cè)上方影響報(bào)告為 BI，下方比較、評(píng)估、預(yù)測(cè)、學(xué)習(xí)為 AI。
目前 BI 軟件不能用作 AI 分析，但 AI 軟件（Rapidminer）部分可用作BI。
阿里巴巴圖：

Iso：組件、組件之間的關(guān)系、設(shè)計(jì)原則。

Q2：已經(jīng)有數(shù)倉(cāng)的情況下，為什么還要建設(shè)數(shù)據(jù)湖？
A2：判斷業(yè)務(wù)場(chǎng)景，客服中心接電話，由經(jīng)理監(jiān)聽(tīng)電話判斷是否認(rèn)真工作，現(xiàn)在有音頻要求，但目前數(shù)倉(cāng)無(wú)法處理音頻，所以需要建設(shè)數(shù)據(jù)湖，如果有大量非結(jié)構(gòu)化數(shù)據(jù)需要處理，建立數(shù)據(jù)湖。

11.8 ETL 和 ELT 區(qū)別【面試會(huì)問(wèn)】

ETL：目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)。
ELT：目標(biāo)數(shù)據(jù)湖。

11.9 F3 數(shù)據(jù)分析的自助服務(wù)是什么？（PPTP85）

Dataselfservice 低代碼軟件（無(wú)需編程）：PowerBI 出BI 報(bào)告，Rapidminer（人工智能）做預(yù)測(cè)及挖掘。
根據(jù)用戶權(quán)限提供各種功能。
按照標(biāo)準(zhǔn)計(jì)劃推送給用戶。
提供自助服務(wù)。通過(guò)門(mén)戶執(zhí)行報(bào)表取數(shù)。
以業(yè)務(wù)為中心構(gòu)建儀表板。

11.10 F6 數(shù)倉(cāng)的一些疑難問(wèn)題，比如 SCD、星型和雪花模型的融合等？

Q1：SCD 如何解決？【參考第 5 章】
A1：漸變類(lèi)維度 slow changing dimensions
1.覆蓋 Overwrite，新值覆蓋舊值。
2.新行 New Row，新值寫(xiě)在新行中，舊行被標(biāo)記為非當(dāng)前值。
3.新列 New Column，一個(gè)值的多個(gè)實(shí)例列在同一行的不同列中，而一個(gè)新值意味著將系列中的值向下一點(diǎn)寫(xiě)入，以便在前面為新值流出空間。最后一個(gè)值被丟棄。

Q2：星型和雪花模型
A2：星型沒(méi)有層級(jí)（日期維度），雪花模型有層級(jí)關(guān)系（如日期→月→季→年）。
Q3：CDC change Data capture 增量抽取方法【可能會(huì)考選擇題】
A3：4 種 CDC 方法（時(shí)間戳增量加載、日志表增量加載、數(shù)據(jù)庫(kù)交易日志、消息增量），數(shù)據(jù)量最大的 CDC 是全量加載。

11.11 F7 指標(biāo)體系

數(shù)據(jù)自助服務(wù)有賴(lài)于 2 部分建設(shè)：元數(shù)據(jù)管理（首要工作），指標(biāo)體系建設(shè)。
建立企業(yè)級(jí)指標(biāo)體系的意義：縱向、橫向比較。指標(biāo)口徑清晰，統(tǒng)一規(guī)范；
支持用戶的自助靈活用數(shù)；有效控制報(bào)表開(kāi)發(fā)成本。
Q：針對(duì)銀行業(yè)金融機(jī)構(gòu)有哪些指標(biāo)？
A：核心價(jià)值指標(biāo)（盈利性指標(biāo)、業(yè)務(wù)運(yùn)營(yíng)指標(biāo)、資源和局限性指標(biāo)、宏觀經(jīng)濟(jì)指標(biāo)等）。
關(guān)鍵指標(biāo)（對(duì)銀行的業(yè)務(wù)經(jīng)營(yíng)和管理決策具有重要意義，作為核心價(jià)值指標(biāo)的補(bǔ)充（通過(guò)指標(biāo)重要性評(píng)分得出），形成上百個(gè)關(guān)鍵指標(biāo)提供用戶使用）。
常用指標(biāo)（績(jī)效考核、風(fēng)險(xiǎn)管理、財(cái)務(wù)報(bào)告、監(jiān)管統(tǒng)計(jì)）。
基礎(chǔ)指標(biāo)庫(kù)（客戶經(jīng)理指標(biāo)、產(chǎn)品經(jīng)理指標(biāo)、信貸評(píng)審員指標(biāo)）。數(shù)據(jù)來(lái)源系統(tǒng)（涵蓋外部監(jiān)管，如（銀監(jiān)會(huì)、人民銀行）統(tǒng)計(jì)要求、銀行高管統(tǒng)計(jì)需求（如行長(zhǎng)報(bào)告）、各業(yè)務(wù)條線統(tǒng)計(jì)需求（如支付結(jié)算、信用卡、產(chǎn)品管理、投資理財(cái)、渠道管理、客戶資產(chǎn)管理、投資銀行、信貸、貿(mào)易融資等）、機(jī)構(gòu)和員工績(jī)效考核需求、以及同業(yè)領(lǐng)先實(shí)踐補(bǔ)充）。

建立指標(biāo)和維度的主題應(yīng)用場(chǎng)景和多維模型（不再是傳統(tǒng)意義上的多維模型，而是 ROLAP，基于關(guān)系型數(shù)據(jù)庫(kù)，對(duì)接多維方法的多維模型）。

Q：保障指標(biāo)落地難點(diǎn)有哪些？
A：1）調(diào)整組織架構(gòu)；
2）主數(shù)據(jù)定了標(biāo)準(zhǔn)，可能無(wú)法貫標(biāo)；
3）指標(biāo)體系。
相關(guān)軟件：
PowerBI 創(chuàng)建報(bào)表。
Kettle 做 ETL（美國(guó)用 talend 較多）。
Mahout 做推薦引擎。
CIA、美國(guó)軍方使用組合：數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù) Netezza，數(shù)據(jù)集成ETL Obention，前端 palantir（找到本拉登的，《指環(huán)王》劇中能穿越時(shí)空、看到一切的水晶球）。
在數(shù)倉(cāng)中規(guī)劃落實(shí)元數(shù)據(jù)

案例：上海一家銀行指標(biāo)體系（3k 多指標(biāo)）。
參考書(shū)《阿里巴巴零售模型白皮書(shū)》。