【RT-Thread作品秀】手語識(shí)別翻譯發(fā)生裝置

作者：歲月觸礁如夢

概述（說明應(yīng)用產(chǎn)生的背景、實(shí)現(xiàn)功能）

手語是聾人使用的語言,是由手形動(dòng)作輔之以表情姿勢由符號(hào)構(gòu)成的比較穩(wěn)定的表達(dá)系統(tǒng),是一種靠動(dòng)作/視覺交際的語言.手語識(shí)別的研究目標(biāo)是讓機(jī)器弄懂聾人的語言.因此我們選擇基于 STM32 為主控，對(duì)手語識(shí)別進(jìn)行識(shí)別和處理，再利用顯示系統(tǒng)或者語音模塊，從而實(shí)現(xiàn)利用 MCU 對(duì)手語翻譯從而幫助發(fā)音障礙人士之間的交流。

開發(fā)環(huán)境（所采用的軟、硬件方案）

硬件：ART-PI+MPU6050

RT-Thread版本：

開發(fā)工具及版本：RT-Thread Studio

RT-Thread使用情況概述（簡要總結(jié)下應(yīng)用中RT-Thread使用情況：內(nèi)核部分、組件部分、軟件包部分、內(nèi)核、其他）

使用rt-thread的i2c驅(qū)動(dòng)部分驅(qū)動(dòng)多個(gè)MPU6050，然后通過uart驅(qū)動(dòng)發(fā)送出去

ART-PI

硬件框架（概述應(yīng)用所采用的硬件方案框圖，并對(duì)核心部分做介紹）

STM32H750 采集來自 MPU6050 的數(shù)據(jù)，打包后通過uart模塊發(fā)送到電 腦上進(jìn)行數(shù)據(jù)處理

軟件框架說明（介紹應(yīng)用所采用的軟件方案框圖、流程圖等，并加以解說）

軟件模塊說明（介紹應(yīng)用軟件關(guān)鍵部分的邏輯、采用的實(shí)現(xiàn)方式等）

使用 tensorflow 搭建模型判斷手勢，使識(shí)別成功率大大提高。模型包含一個(gè)輸入層，兩層全連接層，和一個(gè)輸出的softmax層，最后比較輸出結(jié)果，如果結(jié)果大于0.8則發(fā)出對(duì)應(yīng)手勢的聲音

演示效果（演示效果請(qǐng)采用3張高清圖片，并錄制一段不少于1min視頻解說應(yīng)用所實(shí)現(xiàn)的效果，視頻上傳至B站或者騰訊視頻或其他視頻平臺(tái)，給出鏈接即可）

比賽感悟（可以圍繞這次比賽學(xué)到了什么，克服了哪些困難，有哪些收獲，不低于200字）

這次比賽讓我深入了解了rt-thread，對(duì)RT-Thread 軟件包的使用有了豐富的經(jīng)驗(yàn)。它是運(yùn)行于 RT-Thread 物聯(lián)網(wǎng)操作系統(tǒng)平臺(tái)上，面向不同應(yīng)用領(lǐng)域的通用軟件組件，由描述信息、源代碼或庫文件組成。RT-Thread 提供了開放的軟件包平臺(tái)，這里存放了官方提供或開發(fā)者提供的軟件包，該平臺(tái)為開發(fā)者提供了眾多可重用軟件包的選擇，這也是 RT-Thread 生態(tài)的重要組成部分。軟件包生態(tài)對(duì)于一個(gè)操作系統(tǒng)的選擇至關(guān)重要，因?yàn)檫@些軟件包具有很強(qiáng)的可重用性，模塊化程度很高，極大的方便應(yīng)用開發(fā)者在最短時(shí)間內(nèi)，打造出自己想要的系統(tǒng)。RT-Thread 已經(jīng)支持的軟件包數(shù)量已經(jīng)達(dá)到60+，如下舉例：。通過此次參賽，學(xué)習(xí)到了許多機(jī)器學(xué)習(xí)相關(guān)的知識(shí)，現(xiàn)在還處在入門階段，對(duì)于過多數(shù)據(jù)的處理方法沒有選對(duì)，使得手套動(dòng)作的識(shí)別準(zhǔn)確率不高，但后期一定會(huì)做更多的研究，做出一個(gè)完整的作品來