如何使用 Azure Databrick來進行資料的擷取、轉換和載入資料 以下文章，轉錄自： https://docs.microsoft.com/zh-tw/azure/databricks/scenarios/databricks-extract-load-sql-data-warehouse 主要是為了更了解 Azure Databrick更實際的應用，也讓各位可以參考一下：   前言： 在雲端的環境中，充滿了各式各樣的資料來源，也需要把不同來源的資料內容，轉成另一種格式的資料，在微軟正統的作法，是使用 Azure Data Factory，也就是資料工廠來完成，... [更多...]

作 者：楊先民 上集提到了 Always Encrypted（永遠加密），我們接下來要把剩下的設定設定完成 註冊過程中的最後一步是配置用戶端，這可以通過清單下列的程式中完成。 在執行程式之前,請務必更改證明服務的 IP 位址以符合你自己的 IP 位址。 $params = @{  AttestationServerUrl = 'http://10.0.0.3/Attestation'  KeyProtectionServerUrl = 'http://10.0.0.3/KeyProtection'  }  Set-HgsClientC... [更多...]

作 者：楊先民 Always Encrypted（永遠加密）是SQL Server 2016中引入的技術，並且是第一種SQL Server加密技術， 用於保護資料免受特權用戶（例如sysadmin角色成員）的攻擊。 因為DBA無法查看加密的資料，所以Always Encrypted提供了真正的職責分離。 當你的平台支持外包給第三方供應商時，這可以幫助解決敏感數據的合規性問題。 如果你有法規要求不要在您所在國家/地區的管轄範圍之外提供資料，並且第三方供應商正在使用離岸團隊，則尤其是如此。 永遠加密使用兩種單獨的金鑰：列加密金鑰和列主要金鑰。列加密金鑰用於加密列中的資料，列主要金鑰用於... [更多...]

管理欄位層級的加密 作 者：楊先民 出刊日期： 2020/09/21   欄位層級的加密讓你可以使用對稱式金鑰，非對稱密鑰，證書或密碼來加密單個資料列，甚至可以加密該列中的特定單元。 儘管這可以為您的資料提供額外的安全保護，但它也可能導致嚴重的性能影響和大量的膨脹。 膨脹意味著加密後的資料大小比以前大得多。此外，實現欄位層級的加密是一個手動過程，需要你對應用程序進行程式碼更改。 因此，加密資料不應成為您的預設設定，並且僅應在你有監管要求或明確的業務理由時才進行加密。 儘管通常使用對稱式金鑰對資料進行加密，但也可以使用非對稱式金鑰，證書甚至密碼對資料進行加密。如果您... [更多...]

作 者：楊先民 為敏感��料實施安全策略時，要考慮的一個重要方面是資料被盜的風險。想像一下一種情況， 其中有惡意意圖的特權用戶使用卸離/附加將資料庫移到新的 SQL Server，以獲取對他們無權查看的資料的使用權限。 或者是，如果惡意用戶獲得對資料庫備份的訪問權限，則他們可以將備份還原到新的 SQL Server上，進從而獲得對資料的 訪問權限。 透明資料加密（TDE）通過對資料庫的資料分頁和交易日誌文件進行加密，並將密鑰（稱為資料庫加密金鑰）儲存在資料庫 的啟動記錄中，來防止出現這些情況。 在資料庫上啟用TDE後，頁面在被寫入磁碟之前將被加密，並且在它們被讀入記憶體時將... [更多...]

簡介 SQL Server資料庫的加密 作 者：楊先民 最近看到一篇文篇，是在講資料加密的一些東西，覺得應該要來好好補充一下資料加密的一些知識，所以就有這文章。 資料加密 加密是使用加密金鑰(簡稱密鑰)和證書(或稱為憑證)的演算法對資料進行混淆的過程，因此，如果繞過安全性並且未經授權的用戶訪問或竊取了數據，那麼它將無法被使用， 除非還獲得了用於加密資料的密鑰。 這在存取的控制之上增加了一層額外的安全性，但是並不能代替對連線控制實現的需求。加密資料還可能會極大地降低性能，因此您應根據需要使用它，而不是將其作為常規 在所有資料上實現。 在本期與下期中，將會示範如何實現透明資料加... [更多...]

作 者：楊先民審 稿：張智凱  這篇文章將延續之前的資料庫錯誤一文的內容，來介紹一下一個並沒有在課堂上教的東西，稱為 Emergency Mode(緊急模式)的介紹，並且介紹一些和檢查資料一致性的 DBCC的指令。 Emergency Mode 如果即使使用REPAIR_ALLOW_DATA_LOSS選項，資料庫文件被損壞到無法連線和不可恢復的程度，並且您沒有可用的備份，那麼您的最後選擇是使用REPAIR_ALLOW_DATA_LOSS選項在 緊急模式下運行DBCC CHECKDB。 請記住，緊急模式是修復資料庫的不得已的選擇，如果無法通過此模式連線數據庫，則將無... [更多...]

作 者：楊先民審 稿：張智凱 本期將要探討的是一個很不常見的主題，稱為資料庫的一致性，這個問題偶爾會發生，而且時常的困擾著我們，希望大家在看完本期之後，能夠 更加了解該如何去面對以及解決。 資料庫涉及很多IO。當您有大量的IO時，就必然會遭受損壞的風險。防止資料庫損壞的主要防禦方法是對資料庫進行定期備份，並定期測試是否可以還原這些備份。 但是，您需要注意資料庫是否損壞，SQL Server提供了一些工具，可用於檢查資料庫的一致性以及在沒有備份的情況下解決一致性問題。 本期將介紹檢查和修復一致性問題的選項。 一致性的錯誤 一致性錯誤可能會在用戶資料庫或系統資料庫中發生，從而使得資料... [更多...]

作 者：楊先民審 稿：張智凱 本篇文章來介紹一下 SQL Server從 2014之後的新功能 Buffer pool extension以及 SQL Server 2019之後的另一個新功能 Hybrid Buffer Pool。 Buffer Pool Extension 之前的文章有提過(呃，如果有興趣可以看看之前的雜誌文章)，Buffer pool是 SQL Server在將頁面寫入磁碟之前以及從磁碟讀取頁面之後用於緩存頁面的記憶體區域。 Buffer pool中的高速暫存中存在兩種不同類型的頁面：乾淨頁面和dirty的頁面。乾淨頁面是未進行任何修改的頁面。乾淨頁通常存在於暫... [更多...]

作 者：楊先民審 稿：張智凱  本篇文章來介紹一下 SQL Server的一些基礎知識，本期所要介紹的是 SQL Server的 port 以及 firewall 的相關設定篇。 Ports 和 Firewalls 在現代企業拓撲中，你的SQL Server實體可能需要至少通過兩個防火牆進行通信。其中之一將是硬體的防火牆，另一個則是Windows防火牆，也稱為本機防火牆。為了使你的SQL Server實體與其他接口 （無論是應用程式還是網絡上的其他 SQL Server的實體）進行通信，同時仍保持防火牆提供的安全性，需要打開端口，以便SQL Server可以通過這些端口進行通... [更多...]