11.1.0語境關(guān)系圖

11.1 Q 建立數(shù)據(jù)倉庫，有哪些步驟？如何建設(shè)？【6 個步驟非常重要！必須知道】

1. 理解需求（P）（目的明確，ETL）

(1) 考慮業(yè)務(wù)目標(biāo)和業(yè)務(wù)戰(zhàn)略。
(2) 確定業(yè)務(wù)領(lǐng)域并框定范圍。
(3) 訪談，了解業(yè)務(wù)人員需求，問題及訪問的數(shù)據(jù)。
(4) 掌握關(guān)鍵指標(biāo)和計算口徑。

2. 定義和維護(hù) DW 和 BI 架構(gòu)（P）

(1) 確定數(shù)據(jù)倉庫/商務(wù)智能技術(shù)架構(gòu)。
(2) 確定數(shù)據(jù)倉庫/商務(wù)智能管理流程。

3. 開發(fā)數(shù)據(jù)倉庫和數(shù)據(jù)集市（D）【建立表】

(1) 建立源到目標(biāo)的映射關(guān)系。
(2) 修正和轉(zhuǎn)換數(shù)據(jù)。

4. 加載數(shù)據(jù)倉庫（D）

== (1) 工作量最大的部分。
(2) 延遲要求【時延決定了數(shù)據(jù)加載方法，實時加載/CDC/流數(shù)據(jù)加載】、源可用性、批處理時間窗口。
(3) 數(shù)據(jù)質(zhì)量問題。==

5. 實施 BI 產(chǎn)品組合（D）【多給幾個產(chǎn)品，自己編程、PowerBI、Rapidminer等】

== (1) 根據(jù)需要對用戶進(jìn)行分組。
(2) 將工具與用戶要求匹配。==

6. 維護(hù)數(shù)據(jù)產(chǎn)品（O）

(1) 發(fā)布管理。
(2) 管理數(shù)據(jù)產(chǎn)品開發(fā)生命周期。
(3) 監(jiān)控和調(diào)優(yōu)加載過程。
(4) 監(jiān)控和調(diào)優(yōu)商務(wù)智能活動和性能。

11.2 OLAP&OLTP 差別【可能會考】

Q1：OLAP 和 OLTP 差別有哪些？【多選題】
A1：OLTP 用于日常交易處理，OLAP 用于查詢、分析、決策；
OLTP 用于簡單小事務(wù)，操作少量數(shù)據(jù)，OLAP 用于復(fù)雜查詢、大量數(shù)據(jù)；
OLTP 數(shù)據(jù)一般為當(dāng)前最新數(shù)據(jù)（實時），數(shù)據(jù)規(guī)模 GB，OLAP 一般為歷史數(shù)據(jù)（批量），數(shù)據(jù)規(guī)模 TB-PB；
OLTP 一般滿足三范式，OLAP 一般逆規(guī)范化，反范式，星型模型；
OLTP 用戶一般為操作人員、低層管理人員，OLAP 一般為決策人員，高級管理人員；
OLTP 的 DB 設(shè)計為面向應(yīng)用，OLAP 設(shè)計為面向主題；OLTP 軟件技術(shù)為數(shù)據(jù)庫，OLAP 軟件技術(shù)為數(shù)據(jù)倉庫。

Q2：index 索引（快速搜索）用在 OLAP 還是 OLTP？
A2：OLAP。

Q3：逆規(guī)范化，用在 OLAP 還是 OLTP？
A3：OLAP，OLTP 應(yīng)滿足 3NF。

用作 OLAP 的軟件：Netezza，Hadoop，Hiva（開源，不建議用，性能很慢）。

三種經(jīng)典的 OLAP 實現(xiàn)方法
1）關(guān)系型聯(lián)機(jī)分析處理（ROLAP）。
ROLAP 通過在在關(guān)系數(shù)據(jù)庫（RDBMS）的二維表中使用多維技術(shù)來支持 OLAP。星型架構(gòu)是 ROLAP 環(huán)境中常用的數(shù)據(jù)庫設(shè)計技術(shù)。
2）多維矩陣型聯(lián)機(jī)分析處理（MOLAP）。
MOLAP 通過使用專門的多維數(shù)據(jù)庫技術(shù)支持 OLAP?！緮?shù)據(jù)量有限制，現(xiàn)在用的不多】。
3）混合型聯(lián)機(jī)分析處理（HOLAP）。
ROLAP 和 MOLAP 的結(jié)合。HOLAP實現(xiàn)允許部分?jǐn)?shù)據(jù)以 MOLAP 形式存儲，而另一部分?jǐn)?shù)據(jù)存儲在ROLAP中?？丶膶崿F(xiàn)方式各不相同，設(shè)計師對分區(qū)的組合也各有不同。

11.3 F2 數(shù)倉的主要組件有哪些？【主要 3 個】’

數(shù)據(jù)倉庫：是一個由 源系統(tǒng)、數(shù)據(jù)集成 ETL 加載、數(shù)據(jù)存儲區(qū)域 （必須：中央數(shù)據(jù)倉庫，可選：ODS、立方體、數(shù)據(jù)集市、主數(shù)據(jù)、暫存區(qū)）等眾多組件組成的數(shù)據(jù)管理系統(tǒng)。

11.4 商務(wù)智能

商務(wù)智能是一套完整的數(shù)據(jù)解決方案，旨在用來將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速提供的提供報表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的一系列分析活動和技術(shù)應(yīng)用，常見的應(yīng)用包括統(tǒng)計分析、儀表盤、數(shù)據(jù)大屏等。
（以業(yè)務(wù)人員用數(shù)需求為中心：固定報表、指標(biāo)多維查詢分析、明細(xì)數(shù)據(jù)、管理層決策儀表盤、移動端可視化應(yīng)用、數(shù)據(jù)挖掘模型應(yīng)用、數(shù)據(jù)模板）。
Q：商務(wù)智能與數(shù)倉、大數(shù)據(jù)區(qū)別？
A：商務(wù)智能 BI 主要用作前端分析展現(xiàn)（統(tǒng)計分析、儀表盤、數(shù)據(jù)大屏）（powerBI）。
數(shù)倉是后臺，主要用于管理后端數(shù)據(jù)（hive），數(shù)據(jù)倉庫與商務(wù)智能不一樣，數(shù)據(jù)倉庫強調(diào) BI。
大數(shù)據(jù)強調(diào) AI。

涉及銀行金融機(jī)構(gòu)：客戶領(lǐng)域、風(fēng)控領(lǐng)域、運營領(lǐng)域。
新客戶獲取模型、客戶交叉營銷模型、客戶細(xì)分明細(xì)模型、客戶激活模型、客戶價值提升模型、客戶維挽模型、支付路徑優(yōu)化模型、客戶經(jīng)營能力分析模型、內(nèi)部審計模型、客戶信用風(fēng)險預(yù)警模型、貸款控制點分析、盈利能力預(yù)測模型、網(wǎng)點選址模型。

11.5 F1Inmon 和 Kimball 關(guān)于數(shù)倉的差別有哪些？

Inmon（數(shù)據(jù)倉庫之父）關(guān)系型，Kimball 多維性。
企業(yè)信息工廠（Bill Inmon）：企業(yè)信息工廠是兩種主要的數(shù)據(jù)倉庫建設(shè)模式之一，是面向主題的、整合的、隨時間變化的、包含匯總和明細(xì)的、穩(wěn)定的歷史數(shù)據(jù)集合。
多維數(shù)據(jù)倉庫（Ralph Kimball）：多維數(shù)據(jù)倉庫是數(shù)據(jù)倉庫開發(fā)的另一個主要模式，倉庫數(shù)據(jù)存儲在多維數(shù)據(jù)模型中，以維度和事實定義。
常見模型包括星型和雪花型等。
Q1：張三，2021 年，上海，賣出多少車，維度和指標(biāo)？（多維模型）
A1：4 個維度（員工張三，時間 2021 年，地點上海，產(chǎn)品汽車），1 個指標(biāo)（多少輛）。


Kimball 圖更清晰（組件及組件之間的關(guān)系，需要了解血緣關(guān)系）。注意 kimball 圖中，右側(cè)數(shù)據(jù)訪問工具至數(shù)據(jù)展示區(qū)的訪問箭頭，數(shù)據(jù)訪問工具中區(qū)分 BI 和 AI，
BI：即席查詢、報表撰寫、分析型應(yīng)用；
AI：模型預(yù)測、打分、數(shù)據(jù)挖掘。
考試暫時不用管上面 2 個圖。

11.6 F4&Q 數(shù)倉、數(shù)據(jù)湖、數(shù)據(jù)中臺的相同點和不同點有哪些？【重要】

數(shù)倉： 結(jié)構(gòu)化數(shù)據(jù)進(jìn)入數(shù)倉、ETL、業(yè)務(wù)場景是明確的，交付物對已經(jīng)發(fā)生的事情的總結(jié)或展現(xiàn)，側(cè)重 BI；（但也可以做 AI）國內(nèi)企業(yè)100%。
數(shù)據(jù)湖： 結(jié)構(gòu)化數(shù)據(jù)+非結(jié)構(gòu)化數(shù)據(jù)進(jìn)入數(shù)據(jù)湖，ELT，業(yè)務(wù)場景是不一定明確的，交付物對未知的預(yù)測或挖掘，側(cè)重 AI；（也可以做BI）國內(nèi)企業(yè)40%。
數(shù)據(jù)中臺： 建設(shè)在數(shù)倉、數(shù)據(jù)湖之上，更多的是打標(biāo)簽、歸類等工作，平臺層數(shù)據(jù)在數(shù)倉、數(shù)據(jù)湖中，在此基礎(chǔ)上，建設(shè)數(shù)據(jù)中臺【阿里巴巴圖是關(guān)鍵】）國內(nèi)企業(yè) 20%。
關(guān)系：數(shù)據(jù)倉庫構(gòu)建了企業(yè)級的數(shù)據(jù)模型，大數(shù)據(jù)平臺在此基礎(chǔ)上進(jìn)行拓展，解決了海量、實時數(shù)據(jù)的計算和存儲問題，而數(shù)據(jù)中臺則是將數(shù)據(jù)服務(wù)化后提供給業(yè)務(wù)系統(tǒng)，目標(biāo)是將數(shù)據(jù)能力滲透到各個業(yè)務(wù)環(huán)節(jié)。

上圖為阿里巴巴示范圖，從下往上（國外示范圖習(xí)慣從左往右）。
數(shù)據(jù)源→采集與轉(zhuǎn)化→平臺層→數(shù)據(jù)中臺。

Q1：采集與轉(zhuǎn)化中，由哪幾部分構(gòu)成？
A1：一般由 4 部分構(gòu)成，
1）結(jié)構(gòu)化數(shù)據(jù)采集 ETL+ESB；
2）非結(jié)構(gòu)化數(shù)據(jù)采集File；
3）實時數(shù)據(jù)采集 Kafka+ws；
4）流數(shù)據(jù)（無法進(jìn)入數(shù)倉，需要在數(shù)據(jù)湖中處理）。Q2：阿里巴巴認(rèn)為的平臺層有哪些？
A2：3+1 數(shù)據(jù)倉庫、大數(shù)據(jù)平臺（所謂的數(shù)據(jù)湖）、實時數(shù)據(jù)處理、數(shù)據(jù)實驗室（不上生產(chǎn)系統(tǒng)，做 POC）。

平臺層之上為數(shù)據(jù)中臺（阿里巴巴創(chuàng)造名稱，上圖中綠色部分）：主要為指標(biāo)、標(biāo)簽等工作，如精準(zhǔn)營銷、業(yè)務(wù)分析、智能客服、客戶洞察、產(chǎn)品洞察、行業(yè)洞察、智能運營、風(fēng)險監(jiān)控、財務(wù)分析、大數(shù)據(jù)運維、數(shù)據(jù)可視化、數(shù)據(jù)共享、標(biāo)簽庫、離線分析、在線分析、海量檢索、機(jī)器學(xué)習(xí)、NLP 自然語言處理、計算機(jī)視覺、知識圖譜/關(guān)系圖譜。

11.7 F5 數(shù)倉和數(shù)據(jù)湖的架構(gòu)圖【最有可能畫設(shè)計圖，數(shù)倉、數(shù)據(jù)湖、數(shù)據(jù)中臺，非常重要！】

數(shù)據(jù)通過源運營系統(tǒng)進(jìn)入集結(jié)區(qū)域，可直接到 ODS，也可以進(jìn)入中心倉庫。注意 ODS 雙向箭頭中心倉庫，ODS 不是進(jìn)入數(shù)倉的必備環(huán)節(jié)，而是與數(shù)倉平級（阿里巴巴圖是不正確的，ODS 不是貼源層）。最下方 DW 也可以進(jìn)數(shù)據(jù)湖。
右側(cè)上方影響報告為 BI，下方比較、評估、預(yù)測、學(xué)習(xí)為 AI。
目前 BI 軟件不能用作 AI 分析，但 AI 軟件（Rapidminer）部分可用作BI。
阿里巴巴圖：

Iso：組件、組件之間的關(guān)系、設(shè)計原則。

Q2：已經(jīng)有數(shù)倉的情況下，為什么還要建設(shè)數(shù)據(jù)湖？
A2：判斷業(yè)務(wù)場景，客服中心接電話，由經(jīng)理監(jiān)聽電話判斷是否認(rèn)真工作，現(xiàn)在有音頻要求，但目前數(shù)倉無法處理音頻，所以需要建設(shè)數(shù)據(jù)湖，如果有大量非結(jié)構(gòu)化數(shù)據(jù)需要處理，建立數(shù)據(jù)湖。

11.8 ETL 和 ELT 區(qū)別【面試會問】

ETL：目標(biāo)數(shù)據(jù)倉庫。
ELT：目標(biāo)數(shù)據(jù)湖。

11.9 F3 數(shù)據(jù)分析的自助服務(wù)是什么？（PPTP85）

Dataselfservice 低代碼軟件（無需編程）：PowerBI 出BI 報告，Rapidminer（人工智能）做預(yù)測及挖掘。
根據(jù)用戶權(quán)限提供各種功能。
按照標(biāo)準(zhǔn)計劃推送給用戶。
提供自助服務(wù)。通過門戶執(zhí)行報表取數(shù)。
以業(yè)務(wù)為中心構(gòu)建儀表板。

11.10 F6 數(shù)倉的一些疑難問題，比如 SCD、星型和雪花模型的融合等？

Q1：SCD 如何解決？【參考第 5 章】
A1：漸變類維度 slow changing dimensions
1.覆蓋 Overwrite，新值覆蓋舊值。
2.新行 New Row，新值寫在新行中，舊行被標(biāo)記為非當(dāng)前值。
3.新列 New Column，一個值的多個實例列在同一行的不同列中，而一個新值意味著將系列中的值向下一點寫入，以便在前面為新值流出空間。最后一個值被丟棄。

Q2：星型和雪花模型
A2：星型沒有層級（日期維度），雪花模型有層級關(guān)系（如日期→月→季→年）。
Q3：CDC change Data capture 增量抽取方法【可能會考選擇題】
A3：4 種 CDC 方法（時間戳增量加載、日志表增量加載、數(shù)據(jù)庫交易日志、消息增量），數(shù)據(jù)量最大的 CDC 是全量加載。

11.11 F7 指標(biāo)體系

數(shù)據(jù)自助服務(wù)有賴于 2 部分建設(shè)：元數(shù)據(jù)管理（首要工作），指標(biāo)體系建設(shè)。
建立企業(yè)級指標(biāo)體系的意義：縱向、橫向比較。指標(biāo)口徑清晰，統(tǒng)一規(guī)范；
支持用戶的自助靈活用數(shù)；有效控制報表開發(fā)成本。
Q：針對銀行業(yè)金融機(jī)構(gòu)有哪些指標(biāo)？
A：核心價值指標(biāo)（盈利性指標(biāo)、業(yè)務(wù)運營指標(biāo)、資源和局限性指標(biāo)、宏觀經(jīng)濟(jì)指標(biāo)等）。
關(guān)鍵指標(biāo)（對銀行的業(yè)務(wù)經(jīng)營和管理決策具有重要意義，作為核心價值指標(biāo)的補充（通過指標(biāo)重要性評分得出），形成上百個關(guān)鍵指標(biāo)提供用戶使用）。
常用指標(biāo)（績效考核、風(fēng)險管理、財務(wù)報告、監(jiān)管統(tǒng)計）。
基礎(chǔ)指標(biāo)庫（客戶經(jīng)理指標(biāo)、產(chǎn)品經(jīng)理指標(biāo)、信貸評審員指標(biāo)）。數(shù)據(jù)來源系統(tǒng)（涵蓋外部監(jiān)管，如（銀監(jiān)會、人民銀行）統(tǒng)計要求、銀行高管統(tǒng)計需求（如行長報告）、各業(yè)務(wù)條線統(tǒng)計需求（如支付結(jié)算、信用卡、產(chǎn)品管理、投資理財、渠道管理、客戶資產(chǎn)管理、投資銀行、信貸、貿(mào)易融資等）、機(jī)構(gòu)和員工績效考核需求、以及同業(yè)領(lǐng)先實踐補充）。

建立指標(biāo)和維度的主題應(yīng)用場景和多維模型（不再是傳統(tǒng)意義上的多維模型，而是 ROLAP，基于關(guān)系型數(shù)據(jù)庫，對接多維方法的多維模型）。

Q：保障指標(biāo)落地難點有哪些？
A：1）調(diào)整組織架構(gòu)；
2）主數(shù)據(jù)定了標(biāo)準(zhǔn)，可能無法貫標(biāo)；
3）指標(biāo)體系。
相關(guān)軟件：
PowerBI 創(chuàng)建報表。
Kettle 做 ETL（美國用 talend 較多）。
Mahout 做推薦引擎。
CIA、美國軍方使用組合：數(shù)據(jù)倉庫數(shù)據(jù)庫 Netezza，數(shù)據(jù)集成ETL Obention，前端 palantir（找到本拉登的，《指環(huán)王》劇中能穿越時空、看到一切的水晶球）。
在數(shù)倉中規(guī)劃落實元數(shù)據(jù)

案例：上海一家銀行指標(biāo)體系（3k 多指標(biāo)）。
參考書《阿里巴巴零售模型白皮書》。