Azure SQL 數據庫倉庫Data Warehouse入門,azure sql數據倉庫

Azure SQL 數據庫倉庫Data Warehouse入門

1.什么是SQL數據庫倉庫(SQL DW)

SQL DW是云端的企業級數據倉庫，用來處理TB，甚至PB級別的關系型數據庫的OLAP(聯機分析處理)場景，主要用來做數據分析和查詢。

2.什么是OLAP

OLAP(Online Analysis Processing)聯機分析處理。表示從多維數據集的多維結構來對數據進行聚合處理

3.OLAP和OLTP的區別

OLTP(Online Transaction Processing)，聯機事務處理。表示事務性非常高的系統，高頻度的插入、讀取、刪除操作

OLAP和OLTP的使用場景不一樣

4.SQL Data Warehouse不適合的場景

SQL DW不適合OLTP的場景，不適合數據庫的高頻Insert/update/delete

(1)OLTP工作負載

(2)大量的小讀寫

(3)多租戶數據庫

(4)經常更改架構

(5)逐行處理

(6)JSON，XML數據和Spatial，Struct，Array和Map數據類型

(7)Power BI直接查詢需要儀表板性能

(8)查詢的高并發性（例如，數十萬個并發查詢）

(9)小數據集（小于250GB）

(10)通過嚴格的RPO和RTO進行災難恢復

5.SQL DW適合的場景

SQL適合OLAP(聯機分析處理)的場景，比如報告，統計，分析等場景

6.SQL DW的設計模式

(1)批量導入數據

(2)將Table數據拆分為事實表和維度表

(3)涉及多張表鏈接的復雜查詢

(4)針對某些維度的聚合查詢

7.什么叫做事實表和維度表

(1)事實表，就是用來存儲真實數據的表，包含數字信息。比如訂單數據表，銷售數據表等。事實表中的數據量一般很大

(2)維度表，就是用來描述用戶分析數據的角度。一般是事實表的外鍵表，比如年月日，大洲國家省份。

一般來說，事實表就是要關注的內容，維度表就是進行統計的角度。

8.SQL DW的使用場景

(1)在過去1個月內，有多少客戶訂購了該產品，統計庫存水平是否足夠

(2)一周內，哪一天客戶從ATM取款最多

(3)統計過去30天內，每天的銷售額有多少

9.Azure SQL DW采用了大規模并行處理(MPP)架構。

作為微軟云Azure的一種服務，Azure SQL DW由微軟維護底層的硬件和軟件，以保證SQL DW始終運行在Azure最新的硬件和軟件上

客戶可以輕松的把數據加載到SQL DW并進行查詢，在業務高峰時，可以橫向擴展計算節點

10.什么是大規模并行處理MPP架構

MPP架構的角色分為頭節點(Head Node)和工作節點(Work Node)。

Head Node保存了數據表的源數據(Meta data)，也就是說Head Node知道數據庫的哪些數據，保存在哪些Work Node里

用戶的數據表分布在不同的Work Node里。

當用戶對SQL DW進行查詢的時候，Head Node會把查詢語句分解為很多子查詢，根據需要進行數據移動，并且把這些子查詢發快遞給Work Node以進行并行執行

舉個例子，假設1個班級有60個學生，當老師需要批改作業的時候，有兩種方法：

(1)老師一個人批改所有60個學生的試卷，速度會很慢

(2)老師把學生分為6組，每組10個人。然后把全班的試卷平均的分配給這6組。由每個組各自批改試卷。這樣批改作業就平行了

顯而易見，第二種方法的效率最高

MPP架構，除了微軟的SQL DW以外，還有Hadoop(Hive和Spark),Teradata,Amazon Redshift,Vertica等產品

11.SMP架構

與MPP相反架構，是SMP(Symmetric Multiprocessing)，這就類似于傳統的單一數據庫。所有的業務邏輯都有1臺服務器在處理

比如傳統的SQL Server,MySQL等，都屬于SMP架構

12.MPP架構和SMP架構，如何支撐更多的業務需求

(1)在MPP架構里，計算節點是橫向擴展的。比如從6個節點并行處理，橫向擴展為20個節點并行處理。這種方式又被稱為ScaleOut

(2)在SMP架構里，計算節點和向上向下擴展的。比如從1臺8Core/16GB的服務器，向上擴展為1臺32Core/512GB的服務器。這種方式又被稱為ScaleUp

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。