Azure SQL 數據庫倉庫Data Warehouse入門,azure 數據倉庫

azure數據庫倉庫數據倉庫入門

1。什么是SQL數據庫倉庫(SQL DW)

DW是云中的企業級數據倉庫，用于處理TB級甚至PB級關系數據庫的OLAP(聯機分析處理)場景，主要用于數據分析和查詢。

2。什么是OLAP

OLAP(聯機分析處理)。表示用于聚合數據的多維數據集的多維結構。

3。OLAP和OLTP的區別

OLTP(在線事務處理)，在線事務處理。表示高事務性系統，具有高頻率的插入、讀取和刪除操作。

OLAP和OLTP的使用場景是不同的。

4。不適合SQL數據倉庫的場景

SQL DW不適合OLTP場景和數據庫的高頻率插入/更新/刪除。

(1)OLTP工作負載

(2)大量的小閱讀和寫作

(3)多租戶數據庫

(4)經常更換架構。

(5)逐行處理

(6)JSON、XML數據以及空間、結構、數組和地圖數據類型

(7)Power BI直接查詢需要儀表板性能。

(8)查詢的高并發性(例如，幾十萬個并發查詢)

(9)小數據集(小于250GB)

(10)通過嚴格的RPO和RTO進行災難恢復

5。適合SQL數據倉庫的場景

SQL OLAP(在線分析處理)場景，如報表、統計、分析等場景。

6。SQL數據倉庫的設計模式

(1)批量導入數據

(2)將表數據拆分為事實表和維度表。

(3)涉及多個表鏈接的復雜查詢。

(4)某些維度的聚集查詢。

7。什么是事實表和維度表

(1)事實表是用于存儲真實數據的表，包含數字信息。如訂單數據表、銷售數據表等。事實表中的數據量通常非常大。

(2)維度表用于描述用戶分析數據的角度。它是一般事實表的外鍵表，如年月日、洲國家省。

一般來說，事實表是需要注意的內容，維度表是統計的角度。

8。SQL DW的使用場景

(1)在過去1個月內，有多少客戶訂購了該產品，庫存水平是否足夠。

(2)一周內，客戶哪一天從ATM機取款最多？

(3)統計過去30天的日銷售額。

9。Azure SQL DW采用大規模并行處理(MPP)架構。

Azure SQL DW作為微軟云Azure的一項服務，由微軟負責維護，確保SQL DW始終運行在Azure最新的軟硬件上。

客戶可以輕松地將數據加載到SQL DW中并進行查詢。在業務高峰期，他們可以橫向擴展計算節點。

10。什么是大規模并行處理的MPP架構

MPP架構的角色分為頭節點和工作節點。

頭節點存儲的是數據表的源數據(元數據)，也就是說數據庫的哪些數據是頭節點知道的，存儲在哪些工作節點。

用戶數據表分布在不同的工作節點。

當用戶查詢SQL DW時，Head Node會將查詢語句分解成許多子查詢，根據需要移動數據，并將這些子查詢發國際快遞Work Node并行執行。

例如，假設一個班有60名學生。當老師需要批改作業時，有兩種方法:

(1)老師自己批改全部60個學生的試卷，速度會很慢。

(2)老師把學生分成6組，每組10人。然后全班的試卷平均分配給這六組。每組分別批改試卷。這樣批改作業就并行了。

顯然，第二種方法的效率最高。

MPP架構除了微軟的SQL DW，還包括Hadoop(Hive和Spark)、Teradata、Amazon Redshift、Vertica等產品。

十一。SMP架構

與MPP相對的架構是SMP(對稱多處理)，類似于傳統的單一數據庫。的所有業務邏輯都由一臺服務器處理。

比如傳統的SQL Server，MySQL都屬于SMP架構。

12.MPP架構和SMP架構，如何支持更多的業務需求？

(1)在MPP架構中，計算節點是水平擴展的。比如從6個節點并行處理，橫向擴展到20個節點。這種方法也稱為橫向擴展。

(2)在SMP體系結構中，計算節點和那些向上和向下擴展的節點。例如，從8核/16gb服務器到32核/512 GB服務器。這種方法也稱為放大。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。