|
隨著從通信設備到航空裝備和工業控制器等技術中對數據管理需求的不斷增長，以及受到這些設備中不斷增加的板載CPU、RAM和存儲資源的推動，數據庫管理系統(DBMS)軟件在電子設備中越來越普及。設備上的數據庫規模大小不一，從幾個GB的數據到支持電信計費/信用系統的等級評定和余額管理應用，再到10GB以上的IP路由器的控制層數據庫以及100GB以上的電信呼叫路由數據庫。 數據庫管理系統——曾經與商業應用、臺式機和web應用幾乎完全關聯在一起——為了滿足當今電子設備的需求而經過了長足的發展。設計師經常采用的內存數據庫系統(IMDS)是在主存中存儲記錄，因此可以消除許多延時源，比如通過硬連線接進數據庫管理系統的緩存和文件管理，這些源將數據永久存儲在硬盤或閃存中(下圖1顯示了這些延時源)。因此與傳統“硬盤上的”數據庫管理系統相比，內存數據庫系統的執行速度可以快好幾個數量級。它們的設計也更簡單，可以最大限度地減少對CPU周期的需求，進而允許使用更小功耗和更低成本的處理器。 圖1：傳統(磁盤上)數據庫系統中的延時源。 然而，易失性有時是一個使人擔心的因素。當發生斷電或系統故障時，主存中的內容將消失。一些應用可以容忍這種風險。例如，存儲在機頂盒中的基于RAM的電子節目指南在發生電源故障時會丟失，但利用有線電視頭端或衛星接收機中的信息可以很快重建。然而，其它許多電子設備要求更高等級的數據庫持久性和可恢復性。舉例來說，一些醫療設備要求記錄隨時間變化的癥狀以支持臨床決策——這些數據在發生電源故障時不能突然消失。網絡路由器和交換機通常將配置數據永久地存儲在閃存中。將這種配置數據保存在內存中也是有意義的，可以實現更快的重啟——但數據需要是可恢復的。面臨DRAM易失性挑戰的還有“讀取”指紋或臉部的掃描儀。為了允許或拒絕訪問安全設施，掃描儀需要將這些數據與存儲在設備上的內存數據庫系統中的生物特征數據進行匹配。如果訪問控制系統發生了故障，系統必須能夠很快恢復。 應用例子：內存數據庫系統和工業控制器 在工業控制系統中，在控制器中集成內存數據庫系統可以支持‘扁平的’控制系統架構。數據在這種架構中存儲和處理，一些控制決策在獨立控制器層產生；而在相反(和傳統)的層次化系統架構中，存儲在控制器層的數據通常被限制用于控制變量。 內存數據庫系統易失性解決方案 解決這種易失性問題已有相應的解決方案。以電池供電RAM形式出現的非易失性內存可以在系統斷電時在DRAM芯片上保持數據不變，不過這種方法沒有得到廣泛普及，因為存在嚴格的溫度要求、漏電流風險、有限的電池使用壽命和其它缺點。 內存數據庫系統軟件本身可以提供數據持久性機制。舉例來說，借助事務日志功能，這種數據庫系統可以在日志文件中創建一條條事務記錄(對數據庫進行的一組修改必須作為一個整體完成或失敗)，在發生故障后這些記錄可以用來恢復數據庫。但記錄本身要求寫入永久存儲器，因此性能上會有些下降。 減輕易失性問題的另外一種內存數據庫系統功能是數據庫復制，即獨立節點中的一個或多個備用內存數據庫與主數據庫保持同步。如果主節點失效，這些數據庫的復制品之一將接替主節點的角色。雖然管理同步(和有可能發生的故障轉移)的過程和節點之間的通信會引起一些延時，但同步可以很快發生。當復制品數量增加或節點間的物理距離增加時，性能成本也會增加。可以用不同的復制策略來管理延時。同步或“2-safe”復制方法要求數據庫事務在復制節點和主節點上同時完成，而異步或“1-safe”復制方法允許事務在復制節點上完成之前提交給主數據庫。異步方法提供更短的源保持時間，因此速度更快，但一致性和持久性差一些。 NVDIMMS:非易性RAM，無需電池 非易失性雙列直插式內存模塊或NVDIMM的出現增加了針對內存數據庫持久性的一種新工具。NVDIMM采用標準記憶棒的形式，可插入現有的DIMM插座，因此簡化了到現成平臺的集成。通常它們包含標準DRAM、NAND閃存和超級電容電源。在正常工作時，這種技術提供了高速DRAM的性能。當發生斷電事件時，超級電容提供的瞬時電能可用來將主存內容寫入NAND閃存芯片，實現永久保存。當電源恢復時，NVDIMM將NAND閃存中的數據恢復到DRAM中。 對于內存數據庫來說，NVDIMM的作用與電池供電型RAM是類似的，但沒有后者所需的電池及其缺點。McObject公司以前就做過這方面的努力，其eXtremeDB內存數據庫系統可以與電池供電型RAM一起工作。公司很想將使用NVDIMM的內存數據庫系統作為主要存儲器。目前有多家供應商可以提供NVDIMM。我們使用AgigA Tech公司的產品對eXtremeDB進行了測試，因為我們非常熟悉AgigA公司的母公司——賽普拉斯半導體。同時我們把測試僅限于AgigA的NVDIMM(比如沒有測試來自Viking Technology和Smart Modular Technologies公司的NVDIMM)，這主要是因為我們的時間和資源非常有限。因此本文中提到的測試只是從概念上證明，內存數據庫系統可以與NVDIMM一起作為存儲器，達到與使用傳統DRAM相當的性能，并且能夠利用NVDIMM的恢復功能恢復由于系統故障“丟失的”內存數據庫。 測試還解決了在同時要求低延時和數據可恢復性的應用中使用內存數據庫系統時經常出現的另外一個問題，即采用事務日志記錄的內存數據庫系統在多大程度上能保持其性能優于基于磁盤的數據庫管理系統？對于后面這些涉及永久存儲器 (內存數據庫系統的事務日志存儲，以及在采用磁盤上的數據庫管理系統情況下的整個數據庫) 的測試，存儲“設備”包含了用AGIGARAM NVDIMM配置的RAM盤。下面給出了使用RAM盤而不是傳統硬盤或固態硬盤的理由。 測試中使用的AgigA Tech公司NVDIMM是設計用于Intel的Romley和Grantley平臺(采用Sandy Brdige、Ivy Bridge、Haswell和Broadwell處理器架構)的。McObject在Intel Oak Creek Canyon參考主板中使用了4GB AGIGARAM DDR3-1600 NVDIMM，以及Intel奔騰雙核CPU 1407 @ 2.8 GHz處理器和8GB的金士頓普通DDR3-1333 DRAM，運行的是Debian Linux 2.6.32.5操作系統。 測試應用程序執行5次數據庫操作，每次循環構成一個數據庫事務，并包含至少兩個操作實例(見圖2)。基準應用程序記錄在兩種數據庫類型中的每一個(磁盤上的數據庫管理系統和帶事務日志的內存數據庫系統，或“IMDS+TL”)和兩種內存(NVDIMM和傳統DRAM)情況下每毫秒完成的循環次數。測試應用程序使用了eXtremeDB自己的C/C++應用編程接口(API)。 圖2：測試應用程序操作。 支持數據庫恢復的測試應用程序代碼可以充分利用eXtremeDB功能，而這種功能原本是增加來用于支持電池供電型RAM作為存儲器。這種功能可以在系統重啟后重新連接到NVRAM管理的eXtremeDB數據庫，啟動任何必需的清零工作，然后恢復正常工作。應用程序的恢復算法假設分配作為MCO_MEMORY_ASSIGN_DATABASE的數據庫內存器件的內存塊可以在應用程序崩潰或電源故障之后重新使用，方法是用另外的標志MCO_DB_OPEN_EXISTING重新打開它。 基準測試結果 從故障恢復是通過重啟測試系統中間執行程序進行測試的。當系統恢復后，測試程序自動重新啟動，訪問前故障狀態的eXtremeDB數據庫(在恢復時，NVDIMM已經將數據庫從閃存加載到DRAM)，檢查數據庫的一致性并恢復操作，并從與系統重啟之前使用的相同NVDIMM存儲空間訪問數據庫。 在比較將NVDIMM用作主內存的“pure”內存數據庫系統(沒有事務日志)和使用傳統DRAM的相同數據庫配置下速度的測試中，兩種存儲類型之間的任何差距都是可以忽略的。待測所有數據庫操作——插入、更新、刪除、索引搜索和表格遍歷——的性能差異都在所用測量技術的誤差范圍之內。有人可能將這種等效性歸因于加載進CPU緩存的完整數據庫，以及在那里發生而不是在DRAM或NVDIMM那里發生的數據訪問。然而，接近12MB的測試數據庫尺寸大大超過5MB的CPU緩存大小，測試應用程序則依靠隨機密鑰從數據庫中尋找隨機頁。 剩余測試專注于事務日志對內存數據庫系統性能的影響。內存數據庫供應商提供事務日志來減輕“pure”內存數據存儲的易失性。然而，事務日志要求永久存儲(進行記錄)，這會影響到內存數據庫系統的性能。正是出于這個理由，內存數據庫系統供應商經常被問到，他們的產品性能在采用事務日志部署時是否仍然超過磁盤上的數據庫管理系統。 上述測試力求回答這個問題。用于永久存儲的“硬盤”實際上是一個將NVDIMM用作內存的RAM盤(基于內存的磁盤類存儲器)。這種做法一方面是想進一步測試AgigA Tech公司的產品(也就是說，為了確認它是否能創建RAM盤，并有一個數據庫系統能與它交互)，另一方面也是想證明采用事務日志的內存數據庫系統性能為何能夠超過磁盤上的數據庫管理系統。 除了它們使用的存儲器件(磁盤上的數據庫管理系統用的是硬盤或固態硬盤，內存數據庫系統用的是DRAM)外，內存數據庫系統與磁盤上的數據庫管理系統還有很重要的區別。內存數據庫系統取消了緩沖管理、文件I/O和傳統數據庫管理系統架構中固有的其它開銷源。取消硬盤——代之以RAM盤——可以消除因存儲器件的物理操作引起的開銷，從而突出內存數據庫系統的流線型設計的延時效應，它比磁盤上的數據庫管理系統更為復雜的處理強得多。 測試表明，對于插入、更新和刪除操作來說，采用事務日志的內存數據庫系統性能明顯超過傳統磁盤上的數據庫管理系統(同樣，兩者都使用RAM作為它們的“永久”存儲)。圖3顯示了每種配置條件下單位為循環/毫秒的結果，以及通過IMDS+TL所表現出來的性能翻倍。舉例來說，在數據庫刪除測試中，IMDS+TL要比磁盤上的數據庫管理系統快12.77倍。圖3還顯示了關閉事務日志、讓eXtremeDB作為將NVDIMM用作主存的“pure”IMDS進行操作的性能影響， 圖3：結果。 數據庫索引搜索和表格遍歷表明，在從磁盤上的數據庫管理系統轉移到IMDS+TL時，幾乎沒有性能上的變化。這種結果是在預料之中的，因為與插入、更新和刪除操作相比，這種數據庫“讀取”操作不會改變數據庫內容，在性能方面的成本通常低得多。 討論 NVDIMM在用作內存數據庫系統存儲器時可以匹配傳統DRAM的速度，同時提供完整的內存數據庫持久性。那么為什么還有人要用帶延時誘導事務日志的內存數據庫系統呢？這里有多種理由，包括成本，因為GB規模的NVDIMM成本要大于DRAM；想要使用非Intel Romley和Grantley的平臺；要求的數據庫大小(AgigA Tech公司的NVDIMM支持高達128GB的總內存容量)。如上述數字所示，增加事務日志實現數據持久性將降低內存數據庫系統的性能，但IMDS+TL組合在插入、更新和刪除操作時仍能超越傳統磁盤型數據庫管理系統的性能。 今后用戶會遇到的另外一個問題是他們所選的內存數據庫系統是否支持將NVDIMM用作主要內存。如前所述，McObject的eXtremeDB內存數據庫系統包括許多功能——在產品開發早期就加入的，用于支持與電池供電型RAM的交互——這些功能可以用NVDIMM平順地恢復數據庫。使用沒有這些功能的內存數據庫系統可能導致更高的復雜性，并且在實現可工作的解決方案之前需要很大的開發和測試工作量。 另外值得注意的是，本文討論的數據庫持久性——也就是確保數據庫和所有提交的事務能在發生系統故障事件時得到恢復——有別于高可用性，或不停工操作的能力。雖然兩種技術都是想幫助數據庫經受住故障，但如前所述，高可用性通常是通過復制實現的，故障轉移時間單位是毫秒。相反，持久性——帶事務日志的內存數據庫系統或將NVDIMM用作主存所能達到的——不保證消除停工時間。使用NVDIMM或事務日志進行數據庫恢復通常是自動的，但兩者最有可能的使用場景是在意外的系統宕機之后，這意味著冷重啟(如重新啟動)這樣的時長為分鐘級的過程。開發人員在考慮用這些技術克服易失性問題時應該理解數據庫高可用性和持久性之間的區別。 |
