by adonisy
4. 七月 2022 00:51
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 緩時變維度 (SCD) 是維度模型中處理維度更改的表,隨著時間的推移價值。學習設計和加載緩時變維度的最佳實踐將幫助你成功處理資料的變化。 在本期中,你將了解 SCD 的類型,通常用於管理維度成員隨時間的變化。然後之後就可以創建一個可以增量更新緩時變維度的映射數據流,專用 SQL 池中的表。 描述緩時變的維度 緩時變維度 (SCD) 是一種適當管理維度變化的維度成員隨著時間的推移。它適用於業務實體的價值隨時間而變化的情況,而不是在一個集合上日程。 SCD 的一個很好的例子是客戶維度,特別是它的聯繫方式列,例如...
[更多...]
by adonisy
20. 六月 2022 01:38
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 在某些情況下,大規模的無代碼轉換可能無法滿足你的要求。你可以使用 Azure數據工廠以攝取從不同來源收集的原始數據並使用一系列計算Azure Databricks、Azure HDInsight 等資源或其他計算資源,以便根據你的要求,本期概略的介紹這樣子的內容。 ADF 和Azure Databricks 例如,Azure Dataricks 與 ADF 的整合允許你添加 Databricks 筆記本在 ADF 管道中利用 Databricks 的分析和資料轉換功能。你可以在你的數據工作流程中添加一...
[更多...]
by adonisy
6. 六月 2022 13:36
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 上期提到了 Azure Data Factory的一些轉換方式,本期要來實作在映射資料流中使用轉換 現在您已將資料移動到 Azure Data Lake Store Gen2,您已準備好構建映射資料流將通過 Spark 叢集群大規模轉換您的資料,然後將其加載到資料倉儲中。 主要任務如下: 1. 準備環境 2. 添加資料源 3.使用映射資料流轉換 4. 寫入資料接收器 任務 1:準備環境 1.打開Data Flow Debug:位於authoring頂部的Data Flo...
[更多...]