|
在用戶現(xiàn)場或者在實(shí)地出現(xiàn)電路板故障的原因有很多種，在故障現(xiàn)場重現(xiàn)故障對開發(fā)人員而言，仍然是一個挑戰(zhàn)。為幫助排除故障，在出現(xiàn)電路板故障時，應(yīng)記錄并存儲所有的電路板環(huán)境變量和故障信息，以便日后確認(rèn)電路板故障的根本原因。本文介紹了一種添加板載故障記錄（OBFL）功能來協(xié)助重現(xiàn)從現(xiàn)場退回的電路板故障的結(jié)構(gòu)化方法。本文重點(diǎn)強(qiáng)調(diào)了OBFL的重要性，通過定義OBFL記錄對故障日志數(shù)據(jù)進(jìn)行了分類，討論了持續(xù)存儲中故障日志的結(jié)構(gòu)，并概括了存儲和檢索OBFL數(shù)據(jù)所需要的系統(tǒng)軟件支持。 OBFL概念 具有OBFL 功能的電路板經(jīng)配置后，可以把故障相關(guān)數(shù)據(jù)存儲在非易失性存儲器中，并可在日后加以檢索和顯示以用于故障分析。這些故障記錄有助于電路板故障的事后檢查。 要實(shí)現(xiàn)OBFL系統(tǒng)功能，需要同時使用軟硬件。在硬件方面，需要：a）確定給出電路板件故障信息的板載OBFL資源（如溫度感應(yīng)器、存儲器、中斷資源、電路板ID，等等）；b）在電路板或者系統(tǒng)出現(xiàn)故障時用以保存故障信息的板載非易失性存儲。OBFL軟件的作用是在正常的電路板運(yùn)行以及電路板故障期間配置電路板變量并將其作為OBFL記錄存儲在非易失性存儲中。OBFL軟件還應(yīng)具備一定的智能，能夠分析多項出錯事件、記錄和歷史故障記錄，以逐步縮小范圍的方式確認(rèn)故障原因。這種分析可以大大減輕故障排查工作，否則將有大量的OBFL記錄需要故障分析工程師手動核查。 圖1.0所示的是具備OBFL功能的嵌入式系統(tǒng)分層架構(gòu)。OBFL層位于應(yīng)用層和操作系統(tǒng)之間，既可直接訪問硬件，也可使用操作系統(tǒng)的API與硬件進(jìn)行通信。這些由OBFL層提供API由應(yīng)用層調(diào)用，執(zhí)行三種主要任務(wù)： OBFL資源和配置：該子模塊提供API，以便從預(yù)定義的OBFL資源獲取OBFL變量的運(yùn)行值。應(yīng)用軟件在中斷處理程序中調(diào)用這些API。另外，當(dāng)OBFL資源遭遇故障狀態(tài)，需要記錄值的時候，也會調(diào)用這些API。資源管理器提供的一個API將由應(yīng)用軟件定期調(diào)用，以便從OBFL資源收集OBFL變量。該子模塊還提供用于配置OBFL資源的API。 OBFL顯示：該子模塊提供多個API來檢索特定的OBFL數(shù)據(jù)。這些API訪問非易失性存儲，檢索OBFL記錄，并以多種格式提交存儲的數(shù)據(jù)。這些API均鏈接到應(yīng)用層的命令行實(shí)用工具上，這樣在排除故障的時候，故障分析工程師就可以輸入命令來查看電路板故障或者系統(tǒng)崩潰前的事件順序。 OBFL記錄保持器：該子模塊負(fù)責(zé)組織由多種基線、事件日志和消息日志記錄組成的OBFL記錄。根據(jù)要求，該記錄的每一條都有時間戳。該記錄在存儲數(shù)據(jù)的時候以時間為線索。 OBFL記錄： 定義板載故障記錄（數(shù)據(jù)）對任何系統(tǒng)來說都是非常重要的，因為這一步?jīng)Q定了哪些參數(shù)將被獲取并登記到非易失性存儲中，以協(xié)助后續(xù)的故障排查工作。所有的OBFL記錄都有時間戳，可大大便于掌握電路板故障發(fā)生之前的事件順序。在定義OBFL記錄的時候進(jìn)行詳細(xì)的、深思熟慮的規(guī)劃，可以縮短確定故障根本原因的響應(yīng)時間。圖2顯示了如何把OBFL記錄進(jìn)一步劃分為三個類別： （1）基線記錄 （2）事件記錄 （3）消息記錄 基線記錄： OBFL基線記錄的創(chuàng)建獨(dú)立于任何電路板故障。OBFL系統(tǒng)應(yīng)一直保持一個初始基線記錄和至少一個近期基線記錄。在完成對OBFL的系統(tǒng)現(xiàn)場配置、首次成功將電路板件投入使用之后，就會立即生成初始基線。首次創(chuàng)建近期基線記錄的時候，將使用初始基線記錄。創(chuàng)建近期基線記錄的目的，是為了獲取OBFL資源的近期值。隨后每次成功的電路板復(fù)位都會創(chuàng)建后續(xù)的基線。OBFL還會要求提供存檔的舊基線。任何穩(wěn)定的基線都會被標(biāo)注為“優(yōu)良”基線，并在故障排查過程中用作參考基線。如果沒有優(yōu)良基線記錄，初級基線記錄將用作參考基線。 基線記錄將獲取特定的軟硬件配置詳情，并存儲在非易失性存儲器中。基線記錄的硬件部分包括電路板配置數(shù)據(jù)詳情，如機(jī)架編號、電路板件的插槽號、序列號、子卡標(biāo)識詳情、FPGA和ASIC修訂號等。該部分還應(yīng)該存儲諸如SRAM/SDRAM/DDR這樣的板載存儲器類型、序列號和配置詳細(xì)信息。BIOS版本、固件版本、OS詳情和應(yīng)用軟件版本應(yīng)存儲在軟件基線記錄下。該記錄在縮小由近期軟硬件升級造成的電路板故障范圍時非常有用。 基線記錄的第三部分存儲電路板環(huán)境變量值。任一存儲的電路板環(huán)境變量都存放有近期的“N”個值，最大實(shí)際值和電路板環(huán)境變量的最低允許值。環(huán)境變量包括電路板電源部分參數(shù)，如電壓、電流以及來自電路板上一個或者多個感應(yīng)器的溫度讀數(shù)。 電路板環(huán)境變量的值定期采集、存儲為近期值，并同最大允許值進(jìn)行比較。如果采集的值大于最大允許值，將采用當(dāng)前的時間戳更新環(huán)境錯誤事件（Environment Error Event）記錄。此外，電路板一般有多個電壓源和溫度感應(yīng)器。溫度應(yīng)定期記錄（比如每隔30分鐘），而電壓數(shù)據(jù)可以不需這么頻繁（比如每隔60分鐘）。 事件記錄 OBFL事件記錄負(fù)責(zé)存儲由板載存儲器故障、系統(tǒng)復(fù)位、意外事件、中斷錯誤或者電路板環(huán)境錯誤導(dǎo)致的硬件故障事件跡象（如電路板崩潰）。OBFL事件記錄可以分為下列幾類： 存儲錯誤：通常，SDRAM或者DDR錯誤分為可糾正的錯誤和不可糾正的致命錯誤兩種。可糾正錯誤可以通過存儲器中的其他硬件邏輯來查找并糾正單比特ECC錯誤來加以糾正。雖然這種錯誤不具有致命性，但它會給系統(tǒng)性能造成一定影響，因此記錄這種事件有助于排除系統(tǒng)性能錯誤。此外，記錄可糾正錯誤還可以就將來可能出現(xiàn)的致命錯誤提出告警。對于屬于不可糾正致命錯誤的多比特存儲錯誤，在事件日志中應(yīng)該登記錯誤地址位置、預(yù)計數(shù)據(jù)和其他存儲詳細(xì)信息。 溫度錯誤：電路板附加的多個溫度感應(yīng)器能夠定期提供周邊溫度值。每當(dāng)讀取的溫度值超過了基線記錄中設(shè)定的允許溫度范圍，就會在事件記錄中記錄一個溫度錯誤。事件記錄更新內(nèi)容包括溫度感應(yīng)器ID、溫度錯誤和適當(dāng)?shù)脑试S限值。 電壓錯誤：電路板的電源部分能夠提供不同ASIC需要的各種電壓。電源部分的任何部件故障都會影響所需要提供的電壓。電路板應(yīng)該具備自動測量電壓的功能，且電壓讀取應(yīng)定期進(jìn)行。實(shí)際電壓與基線記錄中定義的允許電壓范圍之間的任何偏差都應(yīng)向事件記錄報告。 總線錯誤：一般電路板上的外設(shè)總線或者IO總線都用來連接CPU與外圍設(shè)備。該總線上的噪音會導(dǎo)致地址相位或者數(shù)據(jù)相位錯誤。外設(shè)總線的主設(shè)備或者目標(biāo)設(shè)備設(shè)計用于檢測這類錯誤。如果某設(shè)備檢測到地址錯誤，它就生成系統(tǒng)錯誤消息。如果檢測到數(shù)據(jù)錯誤，它就生成奇偶校驗錯誤消息。由于總線上的噪音，任何SoC上的內(nèi)部總線也會生成系統(tǒng)錯誤和奇偶校驗錯誤消息，并發(fā)送到CPU中斷引腳。更新事件記錄的內(nèi)容應(yīng)包括出錯詳細(xì)信息以及設(shè)備ID，以便進(jìn)行故障分析。 中斷：中斷錯誤指由外部硬件源、內(nèi)部外設(shè)、ASIC中斷或者軟件中斷生成的事件，用于通知CPU出錯消息。面向全部出錯的中斷處理程序應(yīng)在OBFL事件記錄中記錄中斷號和中斷源。 復(fù)位：系統(tǒng)故障或者故意的手工復(fù)位均會導(dǎo)致電路板復(fù)位。每次電路板復(fù)位都應(yīng)記錄下來，并加上時間戳。用于消除故障的ASIC復(fù)位也應(yīng)記錄下來。 OBFL事件：OBFL支持的關(guān)鍵操作，如初始基線和優(yōu)良基線的創(chuàng)建、OBFL記錄的停用和啟用、日志文件的刪除等都是重要的事件并應(yīng)加上時間戳，以O(shè)BFL事件的方式存儲起來。 消息記錄：該OBFL記錄為所有因系統(tǒng)軟件觸發(fā)的故障提供加有時間戳的詳盡消息記錄，包括系統(tǒng)告警、告警通知、告警消息、系統(tǒng)錯誤詳細(xì)信息。消息記錄可以分為多個層級： · 告警（1級）：本類記錄的是需要立即注意的系統(tǒng)告警。 · 錯誤（2級）：在系統(tǒng)軟件發(fā)現(xiàn)錯誤的情況下，完整的協(xié)議棧蹤跡、處理器寄存器轉(zhuǎn)儲、ASIC寄存器轉(zhuǎn)儲都會以消息日志的方式加以記錄。內(nèi)存泄漏錯誤也應(yīng)隨同所要求的存儲詳細(xì)信息予以報告。任何固件故障都應(yīng)生成調(diào)試信息并記入本記錄中。 · 調(diào)試（3級）：這是一種調(diào)試模式記錄。啟用后可以給功能的進(jìn)入和退出提供軟件模塊跟蹤信息。這樣有助于逐步縮小故障范圍。在出現(xiàn)故障的情況下，如果觸發(fā)了診斷軟件，所有來自此項功能的消息都應(yīng)該存儲在調(diào)試幫助分類中。 OBFL軟件支持 本部分用于描述系統(tǒng)OBFL軟件架構(gòu)。在存儲器中組織OBFL記錄以及進(jìn)行方便的故障記錄信息檢索都需要得到OBFL系統(tǒng)軟件的支持。如圖3所示，OBFL軟件架構(gòu)在廣義上可以劃分為下列塊： . OBFL命令行：支持顯示管理器（Display Manager）的命令行界面（CLI）有助于檢索OBFL記錄。使用命令行界面還可以完成對OBFL資源的配置和對OBFL基線記錄、事件記錄和信息記錄的管理。 · OBFL配置API：OBFL軟件提供的API可為每個電路板環(huán)境變量的各種資源分配唯一的OBFL資源ID。軟件還提供配置支持功能，讓每個資源ID都能夠得到配置。電路板上的溫度感應(yīng)器均可配置允許的溫度范圍。每個電壓源都按照最高與最低電源電流要求加以配置。 · OBFL記錄和文件管理：本模塊用作OBFL記錄保持器。其功能包括自動創(chuàng)建基線記錄和存檔舊基線等。另外它還提供API，支持手動創(chuàng)建和刪除基線文件。用于清除不需要的消息日志文件的支持功能有助于釋放空間，存儲更新的日志。本模塊還提供啟用OBFL、停用OBFL、顯示所有以及特定事件或消息記錄等其他功能。 · OBFL資源管理器：該軟件模塊的功能是提供從預(yù)定義的OBFL資源獲取OBFL變量運(yùn)行值的API。如果遇到OBFL資源錯誤情況，應(yīng)用軟件可以在中斷處理程序中調(diào)用這些API。 · OBFL顯示：這是OBFL的一項非常重要的特性，可以用來顯示存儲在非易失性存儲器中的OBFL記錄。 · 使用資源ID/分類：輸入OBFL 后，顯示器將以表格格式顯示最近的N項歷史讀數(shù)，每項都帶有時間戳。它還能顯示每項錯誤被資源報告的次數(shù)、錯誤量以及資源的配置詳情。同時顯示的還有運(yùn)行在OBFL資源分類上的命令，比如OBFL溫度和OBFL電壓。輸入OBFL Display ，可以在特定的分類中列出所有的OBFL資源。 Example of OBFL Display Feature using Resource Category:使用Resource Category命令顯示的OBFL特性示例： 使用啟動/終止時間：本命令顯示給定時間范圍內(nèi)加有時間戳的事件記錄和/或消息記錄。檢索該數(shù)據(jù)的命令格式是OBFL DISPLAY ALL 。該命令可以顯示時間記錄數(shù)據(jù)庫和消息記錄數(shù)據(jù)庫中所有按時間順序排序的信息。輸入OBFL EVENT ，可以顯示所有在時間界限之間發(fā)生的事件。 使用調(diào)試選項：該特性提供智能調(diào)試報告。執(zhí)行本命令后，將查找事件或者消息日志中最近的故障，找到故障分類，記錄相關(guān)的時間戳，鎖定任何告警或者與之有關(guān)的任何其他錯誤分類或者消息日志分類。該特性還能對類似錯誤或者消息分類的歷史數(shù)據(jù)和存檔數(shù)據(jù)進(jìn)行比較，并重點(diǎn)顯示通過比較最近基線文件與初始基線文件和優(yōu)良基線文件而得出的差異。 · OBFL顯示調(diào)試特性： OBFL定期任務(wù)：本模塊提供用于OBFL資源管理的API，并定期由應(yīng)用軟件調(diào)用，以采集來自O(shè)BFL資源的OBFL變量。 NV Memory Store/recall and RTC: This is explained in the section below along with NV hardware functionality. NV存儲器存儲/調(diào)出和RTC：下文將對非易失性硬件功能進(jìn)行詳盡闡述。 非易失性存儲器： 所有OBFL記錄及其時間戳都保存在非易失性存儲器中，以用于后續(xù)的故障分析。這種存儲器的非易失性性質(zhì)可以在電路板掉電后保存故障日志。閃存、EEPROM、FeRAM和NVSRAM等多種存儲技術(shù)都具有非易失性功能。其中最理想的是NVSRAM，因為它們由SRAM單元和對應(yīng)的非易失性單元共同構(gòu)成。NVSRAM的讀寫操作可提供與SRAM一樣高速訪問性能。 在正常操作情況下，連接到NVSRAM的VCC用來供電。NVSRAM提供達(dá)自動存儲（Autostore）操作使用連接到存儲器的電容在掉電或者電路板崩潰的情況下提供電力。這樣，系統(tǒng)就可以在電路板全面出現(xiàn)故障之前存儲最近可用的OBFL數(shù)據(jù)。在電路板加電期間，非易失性部分的存儲內(nèi)容將自動轉(zhuǎn)移到SRAM部分或者存儲器中。 NVSRAM還提供軟存儲和調(diào)出特性。這些特性可以讓OBFL軟件隨時在存儲器的非易失性部分存入OBFL數(shù)據(jù)。OBFL軟件可以使用軟調(diào)出功能在故障現(xiàn)場抽取數(shù)據(jù)。在給每條記錄加時間戳的時候，NVSRAM存儲器都使用實(shí)時時鐘（RTC），這樣故障事件的順序就可以得到確認(rèn)。 |
