|
在用戶現場或者在實地出現電路板故障的原因有很多種，在故障現場重現故障對開發人員而言，仍然是一個挑戰。為幫助排除故障，在出現電路板故障時，應記錄并存儲所有的電路板環境變量和故障信息，以便日后確認電路板故障的根本原因。本文介紹了一種添加板載故障記錄（OBFL）功能來協助重現從現場退回的電路板故障的結構化方法。本文重點強調了OBFL的重要性，通過定義OBFL記錄對故障日志數據進行了分類，討論了持續存儲中故障日志的結構，并概括了存儲和檢索OBFL數據所需要的系統軟件支持。 OBFL概念 具有OBFL 功能的電路板經配置后，可以把故障相關數據存儲在非易失性存儲器中，并可在日后加以檢索和顯示以用于故障分析。這些故障記錄有助于電路板故障的事后檢查。 要實現OBFL系統功能，需要同時使用軟硬件。在硬件方面，需要：a）確定給出電路板件故障信息的板載OBFL資源（如溫度感應器、存儲器、中斷資源、電路板ID，等等）；b）在電路板或者系統出現故障時用以保存故障信息的板載非易失性存儲。OBFL軟件的作用是在正常的電路板運行以及電路板故障期間配置電路板變量并將其作為OBFL記錄存儲在非易失性存儲中。OBFL軟件還應具備一定的智能，能夠分析多項出錯事件、記錄和歷史故障記錄，以逐步縮小范圍的方式確認故障原因。這種分析可以大大減輕故障排查工作，否則將有大量的OBFL記錄需要故障分析工程師手動核查。 圖1.0所示的是具備OBFL功能的嵌入式系統分層架構。OBFL層位于應用層和操作系統之間，既可直接訪問硬件，也可使用操作系統的API與硬件進行通信。這些由OBFL層提供API由應用層調用，執行三種主要任務： OBFL資源和配置：該子模塊提供API，以便從預定義的OBFL資源獲取OBFL變量的運行值。應用軟件在中斷處理程序中調用這些API。另外，當OBFL資源遭遇故障狀態，需要記錄值的時候，也會調用這些API。資源管理器提供的一個API將由應用軟件定期調用，以便從OBFL資源收集OBFL變量。該子模塊還提供用于配置OBFL資源的API。 OBFL顯示：該子模塊提供多個API來檢索特定的OBFL數據。這些API訪問非易失性存儲，檢索OBFL記錄，并以多種格式提交存儲的數據。這些API均鏈接到應用層的命令行實用工具上，這樣在排除故障的時候，故障分析工程師就可以輸入命令來查看電路板故障或者系統崩潰前的事件順序。 OBFL記錄保持器：該子模塊負責組織由多種基線、事件日志和消息日志記錄組成的OBFL記錄。根據要求，該記錄的每一條都有時間戳。該記錄在存儲數據的時候以時間為線索。 OBFL記錄： 定義板載故障記錄（數據）對任何系統來說都是非常重要的，因為這一步決定了哪些參數將被獲取并登記到非易失性存儲中，以協助后續的故障排查工作。所有的OBFL記錄都有時間戳，可大大便于掌握電路板故障發生之前的事件順序。在定義OBFL記錄的時候進行詳細的、深思熟慮的規劃，可以縮短確定故障根本原因的響應時間。圖2顯示了如何把OBFL記錄進一步劃分為三個類別： （1）基線記錄 （2）事件記錄 （3）消息記錄 基線記錄： OBFL基線記錄的創建獨立于任何電路板故障。OBFL系統應一直保持一個初始基線記錄和至少一個近期基線記錄。在完成對OBFL的系統現場配置、首次成功將電路板件投入使用之后，就會立即生成初始基線。首次創建近期基線記錄的時候，將使用初始基線記錄。創建近期基線記錄的目的，是為了獲取OBFL資源的近期值。隨后每次成功的電路板復位都會創建后續的基線。OBFL還會要求提供存檔的舊基線。任何穩定的基線都會被標注為“優良”基線，并在故障排查過程中用作參考基線。如果沒有優良基線記錄，初級基線記錄將用作參考基線。 基線記錄將獲取特定的軟硬件配置詳情，并存儲在非易失性存儲器中。基線記錄的硬件部分包括電路板配置數據詳情，如機架編號、電路板件的插槽號、序列號、子卡標識詳情、FPGA和ASIC修訂號等。該部分還應該存儲諸如SRAM/SDRAM/DDR這樣的板載存儲器類型、序列號和配置詳細信息。BIOS版本、固件版本、OS詳情和應用軟件版本應存儲在軟件基線記錄下。該記錄在縮小由近期軟硬件升級造成的電路板故障范圍時非常有用。 基線記錄的第三部分存儲電路板環境變量值。任一存儲的電路板環境變量都存放有近期的“N”個值，最大實際值和電路板環境變量的最低允許值。環境變量包括電路板電源部分參數，如電壓、電流以及來自電路板上一個或者多個感應器的溫度讀數。 電路板環境變量的值定期采集、存儲為近期值，并同最大允許值進行比較。如果采集的值大于最大允許值，將采用當前的時間戳更新環境錯誤事件（Environment Error Event）記錄。此外，電路板一般有多個電壓源和溫度感應器。溫度應定期記錄（比如每隔30分鐘），而電壓數據可以不需這么頻繁（比如每隔60分鐘）。 事件記錄 OBFL事件記錄負責存儲由板載存儲器故障、系統復位、意外事件、中斷錯誤或者電路板環境錯誤導致的硬件故障事件跡象（如電路板崩潰）。OBFL事件記錄可以分為下列幾類： 存儲錯誤：通常，SDRAM或者DDR錯誤分為可糾正的錯誤和不可糾正的致命錯誤兩種。可糾正錯誤可以通過存儲器中的其他硬件邏輯來查找并糾正單比特ECC錯誤來加以糾正。雖然這種錯誤不具有致命性，但它會給系統性能造成一定影響，因此記錄這種事件有助于排除系統性能錯誤。此外，記錄可糾正錯誤還可以就將來可能出現的致命錯誤提出告警。對于屬于不可糾正致命錯誤的多比特存儲錯誤，在事件日志中應該登記錯誤地址位置、預計數據和其他存儲詳細信息。 溫度錯誤：電路板附加的多個溫度感應器能夠定期提供周邊溫度值。每當讀取的溫度值超過了基線記錄中設定的允許溫度范圍，就會在事件記錄中記錄一個溫度錯誤。事件記錄更新內容包括溫度感應器ID、溫度錯誤和適當的允許限值。 電壓錯誤：電路板的電源部分能夠提供不同ASIC需要的各種電壓。電源部分的任何部件故障都會影響所需要提供的電壓。電路板應該具備自動測量電壓的功能，且電壓讀取應定期進行。實際電壓與基線記錄中定義的允許電壓范圍之間的任何偏差都應向事件記錄報告。 總線錯誤：一般電路板上的外設總線或者IO總線都用來連接CPU與外圍設備。該總線上的噪音會導致地址相位或者數據相位錯誤。外設總線的主設備或者目標設備設計用于檢測這類錯誤。如果某設備檢測到地址錯誤，它就生成系統錯誤消息。如果檢測到數據錯誤，它就生成奇偶校驗錯誤消息。由于總線上的噪音，任何SoC上的內部總線也會生成系統錯誤和奇偶校驗錯誤消息，并發送到CPU中斷引腳。更新事件記錄的內容應包括出錯詳細信息以及設備ID，以便進行故障分析。 中斷：中斷錯誤指由外部硬件源、內部外設、ASIC中斷或者軟件中斷生成的事件，用于通知CPU出錯消息。面向全部出錯的中斷處理程序應在OBFL事件記錄中記錄中斷號和中斷源。 復位：系統故障或者故意的手工復位均會導致電路板復位。每次電路板復位都應記錄下來，并加上時間戳。用于消除故障的ASIC復位也應記錄下來。 OBFL事件：OBFL支持的關鍵操作，如初始基線和優良基線的創建、OBFL記錄的停用和啟用、日志文件的刪除等都是重要的事件并應加上時間戳，以OBFL事件的方式存儲起來。 消息記錄：該OBFL記錄為所有因系統軟件觸發的故障提供加有時間戳的詳盡消息記錄，包括系統告警、告警通知、告警消息、系統錯誤詳細信息。消息記錄可以分為多個層級： · 告警（1級）：本類記錄的是需要立即注意的系統告警。 · 錯誤（2級）：在系統軟件發現錯誤的情況下，完整的協議棧蹤跡、處理器寄存器轉儲、ASIC寄存器轉儲都會以消息日志的方式加以記錄。內存泄漏錯誤也應隨同所要求的存儲詳細信息予以報告。任何固件故障都應生成調試信息并記入本記錄中。 · 調試（3級）：這是一種調試模式記錄。啟用后可以給功能的進入和退出提供軟件模塊跟蹤信息。這樣有助于逐步縮小故障范圍。在出現故障的情況下，如果觸發了診斷軟件，所有來自此項功能的消息都應該存儲在調試幫助分類中。 OBFL軟件支持 本部分用于描述系統OBFL軟件架構。在存儲器中組織OBFL記錄以及進行方便的故障記錄信息檢索都需要得到OBFL系統軟件的支持。如圖3所示，OBFL軟件架構在廣義上可以劃分為下列塊： . OBFL命令行：支持顯示管理器（Display Manager）的命令行界面（CLI）有助于檢索OBFL記錄。使用命令行界面還可以完成對OBFL資源的配置和對OBFL基線記錄、事件記錄和信息記錄的管理。 · OBFL配置API：OBFL軟件提供的API可為每個電路板環境變量的各種資源分配唯一的OBFL資源ID。軟件還提供配置支持功能，讓每個資源ID都能夠得到配置。電路板上的溫度感應器均可配置允許的溫度范圍。每個電壓源都按照最高與最低電源電流要求加以配置。 · OBFL記錄和文件管理：本模塊用作OBFL記錄保持器。其功能包括自動創建基線記錄和存檔舊基線等。另外它還提供API，支持手動創建和刪除基線文件。用于清除不需要的消息日志文件的支持功能有助于釋放空間，存儲更新的日志。本模塊還提供啟用OBFL、停用OBFL、顯示所有以及特定事件或消息記錄等其他功能。 · OBFL資源管理器：該軟件模塊的功能是提供從預定義的OBFL資源獲取OBFL變量運行值的API。如果遇到OBFL資源錯誤情況，應用軟件可以在中斷處理程序中調用這些API。 · OBFL顯示：這是OBFL的一項非常重要的特性，可以用來顯示存儲在非易失性存儲器中的OBFL記錄。 · 使用資源ID/分類：輸入OBFL 后，顯示器將以表格格式顯示最近的N項歷史讀數，每項都帶有時間戳。它還能顯示每項錯誤被資源報告的次數、錯誤量以及資源的配置詳情。同時顯示的還有運行在OBFL資源分類上的命令，比如OBFL溫度和OBFL電壓。輸入OBFL Display ，可以在特定的分類中列出所有的OBFL資源。 Example of OBFL Display Feature using Resource Category:使用Resource Category命令顯示的OBFL特性示例： 使用啟動/終止時間：本命令顯示給定時間范圍內加有時間戳的事件記錄和/或消息記錄。檢索該數據的命令格式是OBFL DISPLAY ALL 。該命令可以顯示時間記錄數據庫和消息記錄數據庫中所有按時間順序排序的信息。輸入OBFL EVENT ，可以顯示所有在時間界限之間發生的事件。 使用調試選項：該特性提供智能調試報告。執行本命令后，將查找事件或者消息日志中最近的故障，找到故障分類，記錄相關的時間戳，鎖定任何告警或者與之有關的任何其他錯誤分類或者消息日志分類。該特性還能對類似錯誤或者消息分類的歷史數據和存檔數據進行比較，并重點顯示通過比較最近基線文件與初始基線文件和優良基線文件而得出的差異。 · OBFL顯示調試特性： OBFL定期任務：本模塊提供用于OBFL資源管理的API，并定期由應用軟件調用，以采集來自OBFL資源的OBFL變量。 NV Memory Store/recall and RTC: This is explained in the section below along with NV hardware functionality. NV存儲器存儲/調出和RTC：下文將對非易失性硬件功能進行詳盡闡述。 非易失性存儲器： 所有OBFL記錄及其時間戳都保存在非易失性存儲器中，以用于后續的故障分析。這種存儲器的非易失性性質可以在電路板掉電后保存故障日志。閃存、EEPROM、FeRAM和NVSRAM等多種存儲技術都具有非易失性功能。其中最理想的是NVSRAM，因為它們由SRAM單元和對應的非易失性單元共同構成。NVSRAM的讀寫操作可提供與SRAM一樣高速訪問性能。 在正常操作情況下，連接到NVSRAM的VCC用來供電。NVSRAM提供達自動存儲（Autostore）操作使用連接到存儲器的電容在掉電或者電路板崩潰的情況下提供電力。這樣，系統就可以在電路板全面出現故障之前存儲最近可用的OBFL數據。在電路板加電期間，非易失性部分的存儲內容將自動轉移到SRAM部分或者存儲器中。 NVSRAM還提供軟存儲和調出特性。這些特性可以讓OBFL軟件隨時在存儲器的非易失性部分存入OBFL數據。OBFL軟件可以使用軟調出功能在故障現場抽取數據。在給每條記錄加時間戳的時候，NVSRAM存儲器都使用實時時鐘（RTC），這樣故障事件的順序就可以得到確認。 |
