加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • 背景
    • 關(guān)于每個模擬器
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

工程師說 | R-Car DNN模擬器的介紹

2023/01/31
1901
閱讀需 7 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

本篇文章我們將介紹瑞薩為R-Car V4H提供的三種類型的DNN開發(fā)模擬器,以及它們的使用情況和特點。

背景

用于汽車SoC實時處理的深度學(xué)習(xí)的模型轉(zhuǎn)換

深度學(xué)習(xí)是使用底層軟件(深度學(xué)習(xí)框架)開發(fā)的,如TensorFlow和PyTorch。

僅僅通過移植在深度學(xué)習(xí)框架中學(xué)習(xí)到的模型,不可能在R-Car這樣的車載SoC上進(jìn)行實時處理,因為深度學(xué)習(xí)的推斷過程需要大量的計算和內(nèi)存使用。因此,有必要對所學(xué)模型進(jìn)行非等價的模型壓縮,如量化和剪枝,以及使用深度學(xué)習(xí)編譯器進(jìn)行性能優(yōu)化。

首先,讓我們討論一下模型壓縮。在量化中,通常以浮點計算的推斷過程被轉(zhuǎn)換為近似的整數(shù)運算,如8位。通過將對識別結(jié)果貢獻(xiàn)較小的權(quán)重設(shè)置為零并跳過對這些權(quán)重的計算,修剪減少了計算和內(nèi)存的使用。這兩種轉(zhuǎn)換都是對原始推斷過程的非等效的算法轉(zhuǎn)換,因此很可能會降低識別的準(zhǔn)確性。

在性能優(yōu)化方面,深度學(xué)習(xí)編譯器可以對訓(xùn)練過的模型的推斷過程進(jìn)行程序轉(zhuǎn)換,以便在深度學(xué)習(xí)加速器上進(jìn)行更快的處理,或者應(yīng)用內(nèi)存可以進(jìn)行優(yōu)化,例如將分配給一個層的輸出數(shù)據(jù)的快速小型SRAM重新用于另一個層的輸出數(shù)據(jù)。

應(yīng)用這種轉(zhuǎn)換可以在車載SoC上進(jìn)行實時處理。

在R-Car中使用瑞薩工具和軟件的推斷流程

瑞薩的R-Car中的H/W加速器CNN-IP,出于計算效率的考慮,可以使用整數(shù)值進(jìn)行推斷操作。由于這個原因,用戶必須使用瑞薩公司提供的R-Car CNN工具來進(jìn)行量化,這是上述模型轉(zhuǎn)換中的一種。

首先,在實際執(zhí)行量化之前,必須進(jìn)行校準(zhǔn),以計算量化參數(shù)(刻度和零點),用于將浮動數(shù)轉(zhuǎn)換為整數(shù)。為此,一個外部工具(如TFMOT、ONNX runtime),根據(jù)網(wǎng)絡(luò)模型的格式,從大量的輸入圖像中找到每一層的最大/最小輸出值。從這些最大/最小值中,可以計算出比例/零點等量化參數(shù);R-Car CNN工具使用這些量化參數(shù)來量化每一層的參數(shù)。

R-Car CNN工具然后從網(wǎng)絡(luò)模型和每層的量化參數(shù)中創(chuàng)建一個命令列表。命令列表是二進(jìn)制數(shù)據(jù),用于指示CNN-IP執(zhí)行哪些命令和設(shè)置哪些參數(shù)(每個量化層的參數(shù))。通過向CNN-IP提供該命令列表并運行它,可以進(jìn)行推斷。

命令列表是由網(wǎng)絡(luò)模型和量化參數(shù)唯一確定的,因此它只需要事先創(chuàng)建一次。上述命令列表可以對每個圖像執(zhí)行,以便在實際設(shè)備上進(jìn)行推斷。

使用瑞薩工具和軟件對R-Car V4H進(jìn)行推斷的框圖見圖1。

圖1 使用瑞薩工具和軟件進(jìn)行推斷的方框圖

關(guān)于每個模擬器

每個模擬器的概述和特點

瑞薩電子準(zhǔn)備了模擬器來解決以下兩個用戶挑戰(zhàn):

A)在開發(fā)一個應(yīng)用程序之前,用戶希望檢查由于量化而導(dǎo)致的精度變化

B)想在不使用實際設(shè)備的情況下使用命令列表檢查和調(diào)試用戶應(yīng)用程序

瑞薩的模擬器有三種類型,每種類型解決不同的任務(wù),具有不同的功能。各自的特點見表1。每一種都在準(zhǔn)確性和處理速度上有所不同。對于每一種情況,都會參照框圖介紹其特點和使用情況的細(xì)節(jié)。

表1 各模擬器的概述和特點

(*1)命令列表是使用R-Car CNN工具創(chuàng)建的,基于網(wǎng)絡(luò)模型和量化參數(shù),使用與上述實際機(jī)器上的推斷相同的程序。

(*2)Accurate Simulator在R-Car CNN工具中運行。用戶向R-Car CNN工具提供網(wǎng)絡(luò)模型和量化參數(shù),該工具會自動計算每一層的量化參數(shù),然后將其輸入到Accurate Simulator。

ISS

該模擬器旨在使用與實際設(shè)備盡可能相同的軟件配置和輸入數(shù)據(jù)(命令列表,主要是寄存器設(shè)置)來調(diào)試輸出結(jié)果。它不能重現(xiàn)計時,也不打算用于計時驗證。

結(jié)果與實際設(shè)備完全相同,速度比Accurate Simulator慢,因為它以指令為基礎(chǔ)重現(xiàn)輸出。

圖2 使用ISS的系統(tǒng)方框圖

精確的模擬器

該模擬器將網(wǎng)絡(luò)模型作為輸入,用于精度驗證,無需使用實際設(shè)備。對于每一層,都要實現(xiàn)一種算法,使其輸出與設(shè)備的計算算法完全匹配。由于執(zhí)行速度比ISS快10倍左右,所以在只驗證精度的情況下,它是很有用的。

圖3 使用Accurate Simulator的系統(tǒng)框圖

快速仿真器

該模擬器用于檢查大量圖像的定量誤差。

Fast Simulator擴(kuò)展了深度學(xué)習(xí)框架(R-Car V4H中的Tensor Flow),在每層推斷操作后都有一個偽量化功能,并帶有浮點數(shù)字。偽量子化是一種重現(xiàn)浮點數(shù)的偽量子化誤差的方法,在浮點數(shù)仍然是浮點數(shù)的情況下,加入與量子化導(dǎo)致的精度下降相同的誤差。

可以只在Tensor Flow中添加一個偽量化功能,其運行速度與Tensor Flow相似,但速度更快。

另外,由于輸入/輸出接口與深度學(xué)習(xí)框架是通用的,所以用戶在切換到深度學(xué)習(xí)框架時很容易檢查出量化錯誤。

然而,由于每層的推斷操作和偽量化都會產(chǎn)生一個小的浮點算術(shù)誤差,所以結(jié)果與實際的機(jī)器結(jié)果并不完全匹配。

圖4 使用快速仿真器的系統(tǒng)框圖

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風(fēng)險等級 參考價格 更多信息
ADXL355BEZ 1 Analog Devices Inc Low Noise, Low Drift, Low Power 3-Axis Accelerometer with digital output

ECAD模型

下載ECAD模型
$63.83 查看
DRV8825PWPR 1 Texas Instruments 45-V, 2.5-A bipolar stepper motor driver with current regulation and 1/32 microstepping ? 28-HTSSOP -40 to 85

ECAD模型

下載ECAD模型
$4.24 查看
ADG1409YRUZ-REEL7 1 Analog Devices Inc 4 Ω Ron, 4-Channel ±15 V/+12 V/±5 V iCMOS Multiplexer

ECAD模型

下載ECAD模型
$10.16 查看
瑞薩電子

瑞薩電子

(RENESAS)于2003年4月1日—由日立制作所半導(dǎo)體部門和三菱電機(jī)半導(dǎo)體部門合并成立。RENESAS結(jié)合了日立與三菱在半導(dǎo)體領(lǐng)域方面的先進(jìn)技術(shù)和豐富經(jīng)驗,是無線網(wǎng)絡(luò)、汽車、消費與工業(yè)市場設(shè)計制造嵌入式半導(dǎo)體的全球領(lǐng)先供應(yīng)商。創(chuàng)立日期2003年4月1日公司法人董事長&CEO伊藤達(dá)業(yè)務(wù)范圍單片機(jī)邏輯模擬等的系統(tǒng)LSI、分立半導(dǎo)體元件、SRAM等的存儲器開發(fā)、設(shè)計、制造、銷售、服務(wù)的提供。集團(tuán)成員44家公司(日本20家,日本以外24家)年度銷售額2006財年(截止至2007年3月):9526億日元(約83億美元)從業(yè)人員:26000人(全世界20個國家、43家公司)瑞薩科技是世界十大半導(dǎo)體芯片供應(yīng)商之一,在很多諸如移動通信、汽車電子和PC/AV 等領(lǐng)域獲得了全球最高市場份額。瑞薩集成電路設(shè)計(北京)有限公司蘇州分公司(RDB-SU)是瑞薩科技全資子公司,2004年1月成立以來,現(xiàn)已擁有150多名優(yōu)秀工程師,承擔(dān)著家電和汽車電子領(lǐng)域MCU的一系列設(shè)計工作,并在2006年4月開始開發(fā)面向中國市場的MCU。

(RENESAS)于2003年4月1日—由日立制作所半導(dǎo)體部門和三菱電機(jī)半導(dǎo)體部門合并成立。RENESAS結(jié)合了日立與三菱在半導(dǎo)體領(lǐng)域方面的先進(jìn)技術(shù)和豐富經(jīng)驗,是無線網(wǎng)絡(luò)、汽車、消費與工業(yè)市場設(shè)計制造嵌入式半導(dǎo)體的全球領(lǐng)先供應(yīng)商。創(chuàng)立日期2003年4月1日公司法人董事長&CEO伊藤達(dá)業(yè)務(wù)范圍單片機(jī)邏輯模擬等的系統(tǒng)LSI、分立半導(dǎo)體元件、SRAM等的存儲器開發(fā)、設(shè)計、制造、銷售、服務(wù)的提供。集團(tuán)成員44家公司(日本20家,日本以外24家)年度銷售額2006財年(截止至2007年3月):9526億日元(約83億美元)從業(yè)人員:26000人(全世界20個國家、43家公司)瑞薩科技是世界十大半導(dǎo)體芯片供應(yīng)商之一,在很多諸如移動通信、汽車電子和PC/AV 等領(lǐng)域獲得了全球最高市場份額。瑞薩集成電路設(shè)計(北京)有限公司蘇州分公司(RDB-SU)是瑞薩科技全資子公司,2004年1月成立以來,現(xiàn)已擁有150多名優(yōu)秀工程師,承擔(dān)著家電和汽車電子領(lǐng)域MCU的一系列設(shè)計工作,并在2006年4月開始開發(fā)面向中國市場的MCU。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

瑞薩電子提供創(chuàng)新嵌入式設(shè)計和完整半導(dǎo)體解決方案。作為專業(yè)微控制器供應(yīng)商、模擬功率器件和SoC產(chǎn)品領(lǐng)導(dǎo)者,瑞薩電子為汽車、工業(yè)、家居、辦公自動化、信息通信等應(yīng)用提供綜合解決方案。詳見瑞薩官網(wǎng)。我們將與您分享近期產(chǎn)品技術(shù)資訊和新聞動態(tài)。