探索 Azure Synapse 無服務器 SQL 池的功能

by adonisy 18. 七月 2022 16:56
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 在本期中,你將探索 Azure Synapse 無服務器 SQL 池的功能以及它是如何實現的用於以交互方式處理數據湖中的資料。 在本期,你將能夠: ● 識別 Azure Synapse 無服務器 SQL 池 ● 描述何時使用 Azure Synapse 無服務器 SQL 池 ● 討論 Azure Synapse 無服務器 SQL 池使用情境 什麼是 Azure Synapse 無服務器 SQL 池 Azure Synapse Analytics 是一種整合分析服務,可加快洞察數據的資料倉儲和... [更多...]

Tags:

Azure Storage

介紹 Azure Synapse中所使用的緩時變維度

by adonisy 4. 七月 2022 00:51
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 緩時變維度 (SCD) 是維度模型中處理維度更改的表,隨著時間的推移價值。學習設計和加載緩時變維度的最佳實踐將幫助你成功處理資料的變化。 在本期中,你將了解 SCD 的類型,通常用於管理維度成員隨時間的變化。然後之後就可以創建一個可以增量更新緩時變維度的映射數據流,專用 SQL 池中的表。 描述緩時變的維度 緩時變維度 (SCD) 是一種適當管理維度變化的維度成員隨著時間的推移。它適用於業務實體的價值隨時間而變化的情況,而不是在一個集合上日程。 SCD 的一個很好的例子是客戶維度,特別是它的聯繫方式列,例如... [更多...]

Tags:

Azure Data Factory | 楊先民Adonis Young

在 Azure 數據工廠中使用計算轉換

by adonisy 20. 六月 2022 01:38
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 在某些情況下,大規模的無代碼轉換可能無法滿足你的要求。你可以使用 Azure數據工廠以攝取從不同來源收集的原始數據並使用一系列計算Azure Databricks、Azure HDInsight 等資源或其他計算資源,以便根據你的要求,本期概略的介紹這樣子的內容。 ADF 和Azure Databricks 例如,Azure Dataricks 與 ADF 的整合允許你添加 Databricks 筆記本在 ADF 管道中利用 Databricks 的分析和資料轉換功能。你可以在你的數據工作流程中添加一... [更多...]

Tags:

Azure Data Factory

在Azure Data Factory中使用免程式的大規模資料轉換(下)

by adonisy 6. 六月 2022 13:36
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 上期提到了 Azure Data Factory的一些轉換方式,本期要來實作在映射資料流中使用轉換 現在您已將資料移動到 Azure Data Lake Store Gen2,您已準備好構建映射資料流將通過 Spark 叢集群大規模轉換您的資料,然後將其加載到資料倉儲中。 主要任務如下: 1. 準備環境 2. 添加資料源 3.使用映射資料流轉換 4. 寫入資料接收器 任務 1:準備環境 1.打開Data Flow Debug:位於authoring頂部的Data Flo... [更多...]

Tags:

楊先民Adonis Young | Azure Data Factory

在Azure Data Factory中使用免程式的大規模資料轉換(上)

by adonisy 23. 五月 2022 14:55
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 無論你擁有怎樣的資料處理技能,Azure 資料工廠都提供了一系列使您能夠根據業務需求轉換和清理資料的工具。 使用 Mapping Data Flow 任務可以免費執行許多常見的轉換任務。你還可以利用其他 Azure 資料服務來執行工作,甚至可以利用現有的 SQL您擁有的服務器集成包。 Azure 資料工廠還使你能夠使用 Wrangling Data Flows 進行資料探索。 解釋 Azure 資料工廠轉換方法 正如 Azure 資料工廠提供了多種攝取資料的方法一樣,它還提供了一系列執行轉換的方... [更多...]

Tags:

楊先民Adonis Young | SQL Server資料庫

在Azure Synapse 上建立 fact table與 dimension table

by adonisy 9. 五月 2022 13:56
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 在地端的環境中如果要使用資料倉儲的話,你的選擇也還是 SQL Server,此時的 SQL Server所存放的,是資料倉儲的資料來源,然而在雲端的環境中,它的名稱已經有所更改,目的是要把它和地端的資料混合加以區隔,本期就來看該如何在雲端的環境中產生資料倉儲的資料來源。 設計和實作星狀架構 星狀架構是關聯式資料倉庫廣泛採用的成熟建模方式。這個需要建模者將他們的模型表分類為維度或事實。 維度表 維度表描述業務實體——您建模的事物。實體可以包括產品、人員、地點和概念,包括時間本身。您會在星狀架構... [更多...]

Tags:

SQL Server資料庫 | 楊先民Adonis Young

使用Azure Stream Analytics進行資料串流分析

by adonisy 18. 四月 2022 13:36
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 今天,大量的即時數據是由連接的應用程式、物聯網生成的(IoT) 設備和感測器,以及各種其他來源。這些串流式資料源的激增已經能夠近乎即時地使用這些數據並做出明智的決策許多組織的運營必要性。 舉幾個例子,在線商店分析即時點擊串流數據以提供產品推薦在消費者瀏覽網站時。製造設施利用遙測數據用於遠程監控高價值資產的物聯網感測器。以及來自銷售點的信用卡交易系統會受到即時審查,以檢測和防止潛在的欺詐活動。 Azure 串流分析將您的即時應用程式體系結構與串流式傳輸無縫集成分析引擎將串流數據轉換為可操作的見解。使用... [更多...]

Tags:

楊先民Adonis Young

介紹Azure Data Lake storage

by adonisy 4. 四月 2022 15:38
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 許多組織在過去的二十年裡一直在構建資料倉儲和商業智慧(BI) 基於關聯式資料庫系統的解決方案。由於這些類型的數據和資料庫的成本和複雜性,儲存非結構化數據使得許多 BI 解決方案已經失去了機會。 假設您是一名為恆一企業工作的數據工程顧問。他們有興趣使用Azure 來分析他們所有的業務數據。在這個角色中,你將提供有關 Azure 如何增強他們現有的商業智慧系統。 您還將提供有關使用 Azure 儲存功能的建議儲存大量非結構化數據以增加其 BI 解決方案的價值。因為他們的需要,你計劃推薦 Azure Da... [更多...]

Tags:

Azure Storage

Azure Databricks 簡介

by adonisy 28. 三月 2022 16:12
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 Azure Databricks 是開源 Apache Spark1 分析和數據的完全託管版本處理引擎。 Azure Databricks 是一種企業級且安全的基於雲的大數據和機器學習平台。 Databricks 提供了一個面向notebook的 Apache Spark 即服務工作空間環境,使其易於管理叢集並以交互方式探索數據,本期就稍微介紹它的用途以及重點。 什麼是 Azure Databricks Azure Databricks 是一個完全託管的、基於雲的大數據和機器學習平台,它通過簡化構... [更多...]

Tags:

楊先民Adonis Young

在雲端中為了資料工程工作而探索計算和儲存選擇

by adonisy 14. 三月 2022 14:08
DB World國際中文電子雜誌 作 者:楊先民 審 稿:張智凱 前言 在本期中,你將學習如何熟悉 Azure 中用於資料工程的核心計算技術。並了解數據湖(data lake)在提供儲存層方面所起的作用。還將學習如何在數據湖中組織數據,以針對探索、串流式傳輸和批處理工作負載進行最佳化。 Azure Synapse 分析簡介 了解 Azure Synapse Analytics 如何解決使用單一服務來滿足廣泛範圍的問題組織今天面臨的分析需求。 什麼是Azure Synapse分析? Azure Synapse Analytics 是一個集合的分析平台,它結合了資料倉儲、大數據分析、數... [更多...]

Tags:

楊先民Adonis Young

NET Magazine國際中文電子雜誌

NET Magazine國際中文電子版雜誌,由恆逸資訊創立於2000,自發刊日起迄今已發行超過500篇.NET相關技術文章,擁有超過40000名註冊讀者群。NET Magazine國際中文電子版雜誌希望藉於電子雜誌與NET Developer達到共同學習與技術新知分享,歡迎每一位對.NET 技術有興趣的朋友們多多支持本雜誌,讓作者群們可以有持續性的動力繼續爬文。<請加入免費訂閱>

月分類Month List