英特爾助力人工智能語言識(shí)別

在近日舉行的NeurIPS大會(huì)上，發(fā)布了兩冊(cè)英特爾提供支持的關(guān)于口語數(shù)據(jù)集的白皮書，其中，《人的語言》主要涉及到“自動(dòng)語音識(shí)別”任務(wù)，另一冊(cè)——《多語種口語語料庫》則涵蓋“關(guān)鍵詞識(shí)別”。這兩個(gè)項(xiàng)目的數(shù)據(jù)集都貢獻(xiàn)了大量豐富的音頻數(shù)據(jù)，且每個(gè)數(shù)據(jù)集在同類中都擁有最大的可用體量。

《多語種口語語料庫》由英特爾軟件與先進(jìn)技術(shù)事業(yè)部（SATG）的機(jī)器學(xué)習(xí)工程師Keith Achorn參與撰寫。Keith在英特爾社區(qū)網(wǎng)站的博客中講述了自己參與該項(xiàng)目的經(jīng)歷。
在ML Commons 的支持下，“人的語言”和“多語種口語語料庫”于2018年開始啟動(dòng)，該項(xiàng)目旨在識(shí)別世界上最常用的 50 種語言并統(tǒng)一到單一的數(shù)據(jù)集中，從而使這些數(shù)據(jù)得到有效利用。該項(xiàng)目小組成員來自英特爾、哈佛大學(xué)、阿里巴巴、甲骨文、Landing AI、密歇根大學(xué)、谷歌、百度等。

在當(dāng)今多元化、國際化、多語言的工作環(huán)境中，準(zhǔn)確轉(zhuǎn)錄和翻譯的能力愈發(fā)重要。通過使用以上數(shù)據(jù)集，計(jì)算機(jī)可以“聽到”口語單詞，并自動(dòng)生成文本或譯文。

這兩個(gè)項(xiàng)目都運(yùn)用了“多樣化語音”，這意味著它們可以更好地展現(xiàn)自然環(huán)境音，如背景噪音、非正式語言模式、錄音設(shè)備混音以及其他聲學(xué)環(huán)境等。這與諸如有聲讀物之類的高度受控的內(nèi)容不同，后者產(chǎn)生的聲音更加“純凈”。然而，在實(shí)際應(yīng)用中，多樣化語音訓(xùn)練有助于提高識(shí)別的準(zhǔn)確性。 

“人的語言”項(xiàng)目?jī)?nèi)含數(shù)萬小時(shí)的對(duì)話音頻。如今，它是世界上最大的、可免費(fèi)下載的、用于學(xué)術(shù)和商用的英語語音識(shí)別數(shù)據(jù)集之一。

“多語種口語語料庫”是一個(gè)音頻語音數(shù)據(jù)集，不僅擁有超過30萬個(gè)關(guān)鍵字的數(shù)十種語言，能夠通過智能設(shè)備訪問，還涵蓋了50多億用戶的日常對(duì)話，有助于推動(dòng)全球范圍內(nèi)受眾語音應(yīng)用的研發(fā)。

這兩個(gè)數(shù)據(jù)集都將提供給廣泛的用戶進(jìn)行應(yīng)用，它們包括商用在內(nèi)的授權(quán)許可條款都相對(duì)較為寬松。