RK3588開發(fā)板上部署DeepSeek-R1大模型的完整指南

繁花之語

DeepSeek作為國產(chǎn)AI大數(shù)據(jù)模型的代表，憑借其卓越的推理能力和高效的文本生成技術(shù)，在全球人工智能領(lǐng)域引發(fā)廣泛關(guān)注。DeepSeek-R1作為該系列最新迭代版本，實(shí)現(xiàn)了長文本處理效能躍遷、多模態(tài)擴(kuò)展規(guī)劃、嵌入式適配等技術(shù)維度的突破。

RK3588作為瑞芯微推出的旗艦級芯片，憑借多核異構(gòu)計(jì)算能力以及強(qiáng)大的CPU、GPU和NPU性能，成為嵌入式AI應(yīng)用的理想平臺。DeepSeek-R1與OK3588-C開發(fā)板的深度融合，標(biāo)志著國產(chǎn)AI大模型從云端向邊緣端的延伸。這種“先進(jìn)算法+定制化芯片”的協(xié)同模式，不僅解決了邊緣側(cè)實(shí)時(shí)性、隱私保護(hù)等關(guān)鍵需求，更構(gòu)建起從技術(shù)研發(fā)到產(chǎn)業(yè)賦能的完整價(jià)值鏈條，為各行業(yè)智能化轉(zhuǎn)型提供可復(fù)用的創(chuàng)新范式。接下來，讓我們深入探討這一過程是如何具體實(shí)現(xiàn)的。

一、移植過程
（1）下載DeepSeek-R1源碼
在Ubuntu虛擬機(jī)上從DeepSeek-R1官網(wǎng)地址下載DeepSeek-R1-Distill-Qwen-1.5B權(quán)重文件。

（2）安裝轉(zhuǎn)換工具
在Ubuntu創(chuàng)建虛擬環(huán)境并安裝RKLLM-Toolkit，以便將DeepSeek-R1大語言模型轉(zhuǎn)換為RKLLM模型格式和編譯板端推理的可執(zhí)行程序。

（3）模型轉(zhuǎn)換
使用RKLLM-Toolkit對模型進(jìn)行轉(zhuǎn)換，RKLLM-Toolkit提供模型的轉(zhuǎn)換、量化功能。作為RKLLM-Toolkit的核心功能之一，它允許用戶將Hugging Face或GGUF格式的大語言模型轉(zhuǎn)換為RKLLM模型，從而將RKLLM模型在Rockchip NPU上加載運(yùn)行。

（4）編譯DeepSeek-R1程序
安裝交叉編譯工具鏈，以編譯RKLLM Runtime可執(zhí)行文件，該程序包含模型初始化、模型推理、回調(diào)函數(shù)處理輸出和模型資源釋放等全部流程。

（5）模型部署
將編譯好的RKLLM模型和可執(zhí)行文件上傳至板端即可執(zhí)行，這樣就可以在OK3588-C開發(fā)板的調(diào)試串口上和DeepSeek-R1對話了，而且無需聯(lián)網(wǎng)。

二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多個(gè)領(lǐng)域內(nèi)均能提供高效而全面的支持。即便是本地離線版本，無論是日常的信息檢索需求、專業(yè)設(shè)備的維修指導(dǎo)建議、復(fù)雜數(shù)學(xué)問題的解答，還是編程任務(wù)的輔助完成，R1都能憑借其強(qiáng)大的數(shù)據(jù)處理能力和廣博的知識儲備庫，給出既準(zhǔn)確且實(shí)用的建議，成為用戶在各領(lǐng)域探索時(shí)的可靠伙伴。

（1）普通信息搜索
DeepSeek-R1能夠快速檢索并提供準(zhǔn)確的信息。例如，當(dāng)詢問“保定飛凌嵌入式技術(shù)有限公司”時(shí)，DeepSeek-R1可以詳細(xì)介紹該公司的背景、主營業(yè)務(wù)、產(chǎn)品特點(diǎn)等，幫助用戶全面了解該公司的情況。



[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上傳視頻封面

​[color=var(--GBK05A)]好的標(biāo)題可以獲得更多的推薦及關(guān)注者







（2）專業(yè)設(shè)備問題維修意見
對于專業(yè)設(shè)備問題，DeepSeek-R1能夠提供詳細(xì)的故障分析和解決方案。例如，針對PLC報(bào)錯(cuò)誤碼E01的問題，R1分析可能造成故障的原因，如電源問題、接線錯(cuò)誤或硬件故障，并提供相應(yīng)的解決步驟，幫助用戶快速排除故障。



[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上傳視頻封面

​[color=var(--GBK05A)]好的標(biāo)題可以獲得更多的推薦及關(guān)注者







（3）數(shù)學(xué)題解答
DeepSeek-R1擁有卓越的數(shù)學(xué)運(yùn)算能力，擅長解決各類數(shù)學(xué)難題。舉例來說，在面對紅藍(lán)鉛筆的采購問題時(shí)，它能夠巧妙地構(gòu)建方程組并迅速求解，精確計(jì)算出紅鉛筆與藍(lán)鉛筆的應(yīng)購數(shù)量，為用戶提供即時(shí)且準(zhǔn)確的解決方案。不僅如此，DeepSeek-R1還附帶了詳盡的驗(yàn)證步驟，確保結(jié)果的準(zhǔn)確無誤。



[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上傳視頻封面

​[color=var(--GBK05A)]好的標(biāo)題可以獲得更多的推薦及關(guān)注者







（4）編程任務(wù)
DeepSeek-R1在編程方面表現(xiàn)出色，能夠根據(jù)用戶需求編寫代碼。例如，針對OK3588-C開發(fā)板的串口通信需求，R1可以提供完整的C語言示例程序，包括串口初始化、數(shù)據(jù)接收和發(fā)送等功能，幫助用戶實(shí)現(xiàn)串口通信。



[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上傳視頻封面

​[color=var(--GBK05A)]好的標(biāo)題可以獲得更多的推薦及關(guān)注者







從上述視頻中不難發(fā)現(xiàn)，DeepSeek-R1在眾多領(lǐng)域內(nèi)彰顯了其卓越的實(shí)用價(jià)值與高效性能，已然成為用戶工作中不可或缺的智能伙伴。

三、性能測評
在完成移植后我們進(jìn)行了全面的性能評測，以驗(yàn)證 DeepSeek-R1在OK3588-C開發(fā)板上的運(yùn)行效果。經(jīng)過詳細(xì)的測試與對比，歸納了以下幾個(gè)關(guān)鍵性能指標(biāo)：實(shí)時(shí)性：從上文視頻播放中可以看到，DeepSeek-R1輸出的回答結(jié)果清晰且流暢，未出現(xiàn)任何延遲或卡頓現(xiàn)象。CPU占用：DeepSeek-R1在OK3588-C開發(fā)板上運(yùn)行的CPU占用為12%~17%，這一表現(xiàn)證明了框架的高效性，使其即便在資源受限的設(shè)備上也能順利運(yùn)行，擴(kuò)展了其應(yīng)用場景和商業(yè)潛力。

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]

添加圖片注釋，不超過 140 字（可選）




內(nèi)存占用：在進(jìn)行上述功能測試時(shí)，DeepSeek-R1的內(nèi)存使用量約為825MB。這保證了系統(tǒng)的流暢運(yùn)行，避免了由于內(nèi)存不足引起的性能問題，使得用戶的應(yīng)用體驗(yàn)更加順暢。

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]

添加圖片注釋，不超過 140 字（可選）




NPU占用：由下圖可見DeepSeek-R1在OK3588-C開發(fā)板上運(yùn)行時(shí)，能夠更高效地分配計(jì)算資源，其NPU（神經(jīng)處理單元）的三個(gè)核心負(fù)載均達(dá)到了83%。

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]

添加圖片注釋，不超過 140 字（可選）