|
在用戶現(xiàn)場(chǎng)或者在實(shí)地出現(xiàn)電路板故障的原因有很多種，在故障現(xiàn)場(chǎng)重現(xiàn)故障對(duì)開(kāi)發(fā)人員而言，仍然是一個(gè)挑戰(zhàn)。為幫助排除故障，在出現(xiàn)電路板故障時(shí)，應(yīng)記錄并存儲(chǔ)所有的電路板環(huán)境變量和故障信息，以便日后確認(rèn)電路板故障的根本原因。本文介紹了一種添加板載故障記錄（OBFL）功能來(lái)協(xié)助重現(xiàn)從現(xiàn)場(chǎng)退回的電路板故障的結(jié)構(gòu)化方法。本文重點(diǎn)強(qiáng)調(diào)了OBFL的重要性，通過(guò)定義OBFL記錄對(duì)故障日志數(shù)據(jù)進(jìn)行了分類，討論了持續(xù)存儲(chǔ)中故障日志的結(jié)構(gòu)，并概括了存儲(chǔ)和檢索OBFL數(shù)據(jù)所需要的系統(tǒng)軟件支持。 OBFL概念 具有OBFL 功能的電路板經(jīng)配置后，可以把故障相關(guān)數(shù)據(jù)存儲(chǔ)在非易失性存儲(chǔ)器中，并可在日后加以檢索和顯示以用于故障分析。這些故障記錄有助于電路板故障的事后檢查。 要實(shí)現(xiàn)OBFL系統(tǒng)功能，需要同時(shí)使用軟硬件。在硬件方面，需要：a）確定給出電路板件故障信息的板載OBFL資源（如溫度感應(yīng)器、存儲(chǔ)器、中斷資源、電路板ID，等等）；b）在電路板或者系統(tǒng)出現(xiàn)故障時(shí)用以保存故障信息的板載非易失性存儲(chǔ)。OBFL軟件的作用是在正常的電路板運(yùn)行以及電路板故障期間配置電路板變量并將其作為OBFL記錄存儲(chǔ)在非易失性存儲(chǔ)中。OBFL軟件還應(yīng)具備一定的智能，能夠分析多項(xiàng)出錯(cuò)事件、記錄和歷史故障記錄，以逐步縮小范圍的方式確認(rèn)故障原因。這種分析可以大大減輕故障排查工作，否則將有大量的OBFL記錄需要故障分析工程師手動(dòng)核查。 圖1.0所示的是具備OBFL功能的嵌入式系統(tǒng)分層架構(gòu)。OBFL層位于應(yīng)用層和操作系統(tǒng)之間，既可直接訪問(wèn)硬件，也可使用操作系統(tǒng)的API與硬件進(jìn)行通信。這些由OBFL層提供API由應(yīng)用層調(diào)用，執(zhí)行三種主要任務(wù)： OBFL資源和配置：該子模塊提供API，以便從預(yù)定義的OBFL資源獲取OBFL變量的運(yùn)行值。應(yīng)用軟件在中斷處理程序中調(diào)用這些API。另外，當(dāng)OBFL資源遭遇故障狀態(tài)，需要記錄值的時(shí)候，也會(huì)調(diào)用這些API。資源管理器提供的一個(gè)API將由應(yīng)用軟件定期調(diào)用，以便從OBFL資源收集OBFL變量。該子模塊還提供用于配置OBFL資源的API。 OBFL顯示：該子模塊提供多個(gè)API來(lái)檢索特定的OBFL數(shù)據(jù)。這些API訪問(wèn)非易失性存儲(chǔ)，檢索OBFL記錄，并以多種格式提交存儲(chǔ)的數(shù)據(jù)。這些API均鏈接到應(yīng)用層的命令行實(shí)用工具上，這樣在排除故障的時(shí)候，故障分析工程師就可以輸入命令來(lái)查看電路板故障或者系統(tǒng)崩潰前的事件順序。 OBFL記錄保持器：該子模塊負(fù)責(zé)組織由多種基線、事件日志和消息日志記錄組成的OBFL記錄。根據(jù)要求，該記錄的每一條都有時(shí)間戳。該記錄在存儲(chǔ)數(shù)據(jù)的時(shí)候以時(shí)間為線索。 OBFL記錄： 定義板載故障記錄（數(shù)據(jù)）對(duì)任何系統(tǒng)來(lái)說(shuō)都是非常重要的，因?yàn)檫@一步?jīng)Q定了哪些參數(shù)將被獲取并登記到非易失性存儲(chǔ)中，以協(xié)助后續(xù)的故障排查工作。所有的OBFL記錄都有時(shí)間戳，可大大便于掌握電路板故障發(fā)生之前的事件順序。在定義OBFL記錄的時(shí)候進(jìn)行詳細(xì)的、深思熟慮的規(guī)劃，可以縮短確定故障根本原因的響應(yīng)時(shí)間。圖2顯示了如何把OBFL記錄進(jìn)一步劃分為三個(gè)類別： （1）基線記錄 （2）事件記錄 （3）消息記錄 基線記錄： OBFL基線記錄的創(chuàng)建獨(dú)立于任何電路板故障。OBFL系統(tǒng)應(yīng)一直保持一個(gè)初始基線記錄和至少一個(gè)近期基線記錄。在完成對(duì)OBFL的系統(tǒng)現(xiàn)場(chǎng)配置、首次成功將電路板件投入使用之后，就會(huì)立即生成初始基線。首次創(chuàng)建近期基線記錄的時(shí)候，將使用初始基線記錄。創(chuàng)建近期基線記錄的目的，是為了獲取OBFL資源的近期值。隨后每次成功的電路板復(fù)位都會(huì)創(chuàng)建后續(xù)的基線。OBFL還會(huì)要求提供存檔的舊基線。任何穩(wěn)定的基線都會(huì)被標(biāo)注為“優(yōu)良”基線，并在故障排查過(guò)程中用作參考基線。如果沒(méi)有優(yōu)良基線記錄，初級(jí)基線記錄將用作參考基線。 基線記錄將獲取特定的軟硬件配置詳情，并存儲(chǔ)在非易失性存儲(chǔ)器中。基線記錄的硬件部分包括電路板配置數(shù)據(jù)詳情，如機(jī)架編號(hào)、電路板件的插槽號(hào)、序列號(hào)、子卡標(biāo)識(shí)詳情、FPGA和ASIC修訂號(hào)等。該部分還應(yīng)該存儲(chǔ)諸如SRAM/SDRAM/DDR這樣的板載存儲(chǔ)器類型、序列號(hào)和配置詳細(xì)信息。BIOS版本、固件版本、OS詳情和應(yīng)用軟件版本應(yīng)存儲(chǔ)在軟件基線記錄下。該記錄在縮小由近期軟硬件升級(jí)造成的電路板故障范圍時(shí)非常有用。 基線記錄的第三部分存儲(chǔ)電路板環(huán)境變量值。任一存儲(chǔ)的電路板環(huán)境變量都存放有近期的“N”個(gè)值，最大實(shí)際值和電路板環(huán)境變量的最低允許值。環(huán)境變量包括電路板電源部分參數(shù)，如電壓、電流以及來(lái)自電路板上一個(gè)或者多個(gè)感應(yīng)器的溫度讀數(shù)。 電路板環(huán)境變量的值定期采集、存儲(chǔ)為近期值，并同最大允許值進(jìn)行比較。如果采集的值大于最大允許值，將采用當(dāng)前的時(shí)間戳更新環(huán)境錯(cuò)誤事件（Environment Error Event）記錄。此外，電路板一般有多個(gè)電壓源和溫度感應(yīng)器。溫度應(yīng)定期記錄（比如每隔30分鐘），而電壓數(shù)據(jù)可以不需這么頻繁（比如每隔60分鐘）。 事件記錄 OBFL事件記錄負(fù)責(zé)存儲(chǔ)由板載存儲(chǔ)器故障、系統(tǒng)復(fù)位、意外事件、中斷錯(cuò)誤或者電路板環(huán)境錯(cuò)誤導(dǎo)致的硬件故障事件跡象（如電路板崩潰）。OBFL事件記錄可以分為下列幾類： 存儲(chǔ)錯(cuò)誤：通常，SDRAM或者DDR錯(cuò)誤分為可糾正的錯(cuò)誤和不可糾正的致命錯(cuò)誤兩種。可糾正錯(cuò)誤可以通過(guò)存儲(chǔ)器中的其他硬件邏輯來(lái)查找并糾正單比特ECC錯(cuò)誤來(lái)加以糾正。雖然這種錯(cuò)誤不具有致命性，但它會(huì)給系統(tǒng)性能造成一定影響，因此記錄這種事件有助于排除系統(tǒng)性能錯(cuò)誤。此外，記錄可糾正錯(cuò)誤還可以就將來(lái)可能出現(xiàn)的致命錯(cuò)誤提出告警。對(duì)于屬于不可糾正致命錯(cuò)誤的多比特存儲(chǔ)錯(cuò)誤，在事件日志中應(yīng)該登記錯(cuò)誤地址位置、預(yù)計(jì)數(shù)據(jù)和其他存儲(chǔ)詳細(xì)信息。 溫度錯(cuò)誤：電路板附加的多個(gè)溫度感應(yīng)器能夠定期提供周邊溫度值。每當(dāng)讀取的溫度值超過(guò)了基線記錄中設(shè)定的允許溫度范圍，就會(huì)在事件記錄中記錄一個(gè)溫度錯(cuò)誤。事件記錄更新內(nèi)容包括溫度感應(yīng)器ID、溫度錯(cuò)誤和適當(dāng)?shù)脑试S限值。 電壓錯(cuò)誤：電路板的電源部分能夠提供不同ASIC需要的各種電壓。電源部分的任何部件故障都會(huì)影響所需要提供的電壓。電路板應(yīng)該具備自動(dòng)測(cè)量電壓的功能，且電壓讀取應(yīng)定期進(jìn)行。實(shí)際電壓與基線記錄中定義的允許電壓范圍之間的任何偏差都應(yīng)向事件記錄報(bào)告。 總線錯(cuò)誤：一般電路板上的外設(shè)總線或者IO總線都用來(lái)連接CPU與外圍設(shè)備。該總線上的噪音會(huì)導(dǎo)致地址相位或者數(shù)據(jù)相位錯(cuò)誤。外設(shè)總線的主設(shè)備或者目標(biāo)設(shè)備設(shè)計(jì)用于檢測(cè)這類錯(cuò)誤。如果某設(shè)備檢測(cè)到地址錯(cuò)誤，它就生成系統(tǒng)錯(cuò)誤消息。如果檢測(cè)到數(shù)據(jù)錯(cuò)誤，它就生成奇偶校驗(yàn)錯(cuò)誤消息。由于總線上的噪音，任何SoC上的內(nèi)部總線也會(huì)生成系統(tǒng)錯(cuò)誤和奇偶校驗(yàn)錯(cuò)誤消息，并發(fā)送到CPU中斷引腳。更新事件記錄的內(nèi)容應(yīng)包括出錯(cuò)詳細(xì)信息以及設(shè)備ID，以便進(jìn)行故障分析。 中斷：中斷錯(cuò)誤指由外部硬件源、內(nèi)部外設(shè)、ASIC中斷或者軟件中斷生成的事件，用于通知CPU出錯(cuò)消息。面向全部出錯(cuò)的中斷處理程序應(yīng)在OBFL事件記錄中記錄中斷號(hào)和中斷源。 復(fù)位：系統(tǒng)故障或者故意的手工復(fù)位均會(huì)導(dǎo)致電路板復(fù)位。每次電路板復(fù)位都應(yīng)記錄下來(lái)，并加上時(shí)間戳。用于消除故障的ASIC復(fù)位也應(yīng)記錄下來(lái)。 OBFL事件：OBFL支持的關(guān)鍵操作，如初始基線和優(yōu)良基線的創(chuàng)建、OBFL記錄的停用和啟用、日志文件的刪除等都是重要的事件并應(yīng)加上時(shí)間戳，以O(shè)BFL事件的方式存儲(chǔ)起來(lái)。 消息記錄：該OBFL記錄為所有因系統(tǒng)軟件觸發(fā)的故障提供加有時(shí)間戳的詳盡消息記錄，包括系統(tǒng)告警、告警通知、告警消息、系統(tǒng)錯(cuò)誤詳細(xì)信息。消息記錄可以分為多個(gè)層級(jí)： · 告警（1級(jí)）：本類記錄的是需要立即注意的系統(tǒng)告警。 · 錯(cuò)誤（2級(jí)）：在系統(tǒng)軟件發(fā)現(xiàn)錯(cuò)誤的情況下，完整的協(xié)議棧蹤跡、處理器寄存器轉(zhuǎn)儲(chǔ)、ASIC寄存器轉(zhuǎn)儲(chǔ)都會(huì)以消息日志的方式加以記錄。內(nèi)存泄漏錯(cuò)誤也應(yīng)隨同所要求的存儲(chǔ)詳細(xì)信息予以報(bào)告。任何固件故障都應(yīng)生成調(diào)試信息并記入本記錄中。 · 調(diào)試（3級(jí)）：這是一種調(diào)試模式記錄。啟用后可以給功能的進(jìn)入和退出提供軟件模塊跟蹤信息。這樣有助于逐步縮小故障范圍。在出現(xiàn)故障的情況下，如果觸發(fā)了診斷軟件，所有來(lái)自此項(xiàng)功能的消息都應(yīng)該存儲(chǔ)在調(diào)試幫助分類中。 OBFL軟件支持 本部分用于描述系統(tǒng)OBFL軟件架構(gòu)。在存儲(chǔ)器中組織OBFL記錄以及進(jìn)行方便的故障記錄信息檢索都需要得到OBFL系統(tǒng)軟件的支持。如圖3所示，OBFL軟件架構(gòu)在廣義上可以劃分為下列塊： . OBFL命令行：支持顯示管理器（Display Manager）的命令行界面（CLI）有助于檢索OBFL記錄。使用命令行界面還可以完成對(duì)OBFL資源的配置和對(duì)OBFL基線記錄、事件記錄和信息記錄的管理。 · OBFL配置API：OBFL軟件提供的API可為每個(gè)電路板環(huán)境變量的各種資源分配唯一的OBFL資源ID。軟件還提供配置支持功能，讓每個(gè)資源ID都能夠得到配置。電路板上的溫度感應(yīng)器均可配置允許的溫度范圍。每個(gè)電壓源都按照最高與最低電源電流要求加以配置。 · OBFL記錄和文件管理：本模塊用作OBFL記錄保持器。其功能包括自動(dòng)創(chuàng)建基線記錄和存檔舊基線等。另外它還提供API，支持手動(dòng)創(chuàng)建和刪除基線文件。用于清除不需要的消息日志文件的支持功能有助于釋放空間，存儲(chǔ)更新的日志。本模塊還提供啟用OBFL、停用OBFL、顯示所有以及特定事件或消息記錄等其他功能。 · OBFL資源管理器：該軟件模塊的功能是提供從預(yù)定義的OBFL資源獲取OBFL變量運(yùn)行值的API。如果遇到OBFL資源錯(cuò)誤情況，應(yīng)用軟件可以在中斷處理程序中調(diào)用這些API。 · OBFL顯示：這是OBFL的一項(xiàng)非常重要的特性，可以用來(lái)顯示存儲(chǔ)在非易失性存儲(chǔ)器中的OBFL記錄。 · 使用資源ID/分類：輸入OBFL 后，顯示器將以表格格式顯示最近的N項(xiàng)歷史讀數(shù)，每項(xiàng)都帶有時(shí)間戳。它還能顯示每項(xiàng)錯(cuò)誤被資源報(bào)告的次數(shù)、錯(cuò)誤量以及資源的配置詳情。同時(shí)顯示的還有運(yùn)行在OBFL資源分類上的命令，比如OBFL溫度和OBFL電壓。輸入OBFL Display ，可以在特定的分類中列出所有的OBFL資源。 Example of OBFL Display Feature using Resource Category:使用Resource Category命令顯示的OBFL特性示例： 使用啟動(dòng)/終止時(shí)間：本命令顯示給定時(shí)間范圍內(nèi)加有時(shí)間戳的事件記錄和/或消息記錄。檢索該數(shù)據(jù)的命令格式是OBFL DISPLAY ALL 。該命令可以顯示時(shí)間記錄數(shù)據(jù)庫(kù)和消息記錄數(shù)據(jù)庫(kù)中所有按時(shí)間順序排序的信息。輸入OBFL EVENT ，可以顯示所有在時(shí)間界限之間發(fā)生的事件。 使用調(diào)試選項(xiàng)：該特性提供智能調(diào)試報(bào)告。執(zhí)行本命令后，將查找事件或者消息日志中最近的故障，找到故障分類，記錄相關(guān)的時(shí)間戳，鎖定任何告警或者與之有關(guān)的任何其他錯(cuò)誤分類或者消息日志分類。該特性還能對(duì)類似錯(cuò)誤或者消息分類的歷史數(shù)據(jù)和存檔數(shù)據(jù)進(jìn)行比較，并重點(diǎn)顯示通過(guò)比較最近基線文件與初始基線文件和優(yōu)良基線文件而得出的差異。 · OBFL顯示調(diào)試特性： OBFL定期任務(wù)：本模塊提供用于OBFL資源管理的API，并定期由應(yīng)用軟件調(diào)用，以采集來(lái)自O(shè)BFL資源的OBFL變量。 NV Memory Store/recall and RTC: This is explained in the section below along with NV hardware functionality. NV存儲(chǔ)器存儲(chǔ)/調(diào)出和RTC：下文將對(duì)非易失性硬件功能進(jìn)行詳盡闡述。 非易失性存儲(chǔ)器： 所有OBFL記錄及其時(shí)間戳都保存在非易失性存儲(chǔ)器中，以用于后續(xù)的故障分析。這種存儲(chǔ)器的非易失性性質(zhì)可以在電路板掉電后保存故障日志。閃存、EEPROM、FeRAM和NVSRAM等多種存儲(chǔ)技術(shù)都具有非易失性功能。其中最理想的是NVSRAM，因?yàn)樗鼈冇蒘RAM單元和對(duì)應(yīng)的非易失性單元共同構(gòu)成。NVSRAM的讀寫(xiě)操作可提供與SRAM一樣高速訪問(wèn)性能。 在正常操作情況下，連接到NVSRAM的VCC用來(lái)供電。NVSRAM提供達(dá)自動(dòng)存儲(chǔ)（Autostore）操作使用連接到存儲(chǔ)器的電容在掉電或者電路板崩潰的情況下提供電力。這樣，系統(tǒng)就可以在電路板全面出現(xiàn)故障之前存儲(chǔ)最近可用的OBFL數(shù)據(jù)。在電路板加電期間，非易失性部分的存儲(chǔ)內(nèi)容將自動(dòng)轉(zhuǎn)移到SRAM部分或者存儲(chǔ)器中。 NVSRAM還提供軟存儲(chǔ)和調(diào)出特性。這些特性可以讓OBFL軟件隨時(shí)在存儲(chǔ)器的非易失性部分存入OBFL數(shù)據(jù)。OBFL軟件可以使用軟調(diào)出功能在故障現(xiàn)場(chǎng)抽取數(shù)據(jù)。在給每條記錄加時(shí)間戳的時(shí)候，NVSRAM存儲(chǔ)器都使用實(shí)時(shí)時(shí)鐘（RTC），這樣故障事件的順序就可以得到確認(rèn)。 |
