WAIC|高精準(zhǔn)、低成本，九章云極DataCanvas突破AutoML難題

2021 年世界人工智能大會（WAIC）于 7 月 8 日 在上海世博中心拉開帷幕。九章云極DataCanvas董事長方磊受邀參加由世界人工智能大會組委會主辦、機器之心承辦的“2021 WAIC·AI開發(fā)者論壇”，并發(fā)表“Hypernets：自動化機器學(xué)習(xí)的基礎(chǔ)框架”主題演講。

本次論壇以「后深度學(xué)習(xí)的 AI 時代」為主題，作為本屆 WAIC 開發(fā)者單元的主力軍，WAIC· AI開發(fā)者論壇與 WAIC·開發(fā)者日一脈相承，連續(xù)三年始終專注 AI 技術(shù)人員與開發(fā)者。本次論壇邀請了15位學(xué)術(shù)界和產(chǎn)業(yè)界重磅嘉賓，覆蓋多模態(tài)機器學(xué)習(xí)及大規(guī)模自動生成技術(shù)、AutoML框架、智能社區(qū)的多模態(tài)數(shù)據(jù)融合、智能制造中的算法平臺以及下一代 AI 基礎(chǔ)軟件能力等話題，共同探討AI前沿技術(shù)。九章云極DataCanvas董事長方磊圍繞AutoML框架的重要性和基本抽象、Hypernets的概念模型和重要特性、Hypernets的具體示例三部分向廣大開發(fā)者奉獻了一場干貨滿滿的技術(shù)福利。

?

AutoML框架的本質(zhì)是空間搜索

AutoML技術(shù)的研發(fā)與應(yīng)用是一個持之以恒的課題，隨著對其研發(fā)的深入，很多AutoML工具的各部分高度耦合，只能針對特定問題，難以擴展。方磊表示，AutoML框架的本質(zhì)就是空間搜索，在這里面很重要的思想就是抽象性和層級的必要。

AutoML框架是對AutoML領(lǐng)域面對的問題解構(gòu)和抽象后形成的基礎(chǔ)性支撐，無論是超參數(shù)優(yōu)化、Full-Pipeline搜索還是神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)問題，主要圍繞3個基本部分：搜索空間(Search Space)、搜索策略(Search Strategy)和評估策略(EstimationStrategy)。AutoML框架應(yīng)對各部分高度解耦以實現(xiàn)各部分自由擴展，開發(fā)者可以在此之上不斷豐富搜索算法，設(shè)計多樣搜索空間，避免共性問題重復(fù)開發(fā)，針對非共性問題實現(xiàn)靈活擴展，加速迭代效率，大幅低于降低自動機器學(xué)習(xí)的準(zhǔn)入門檻，能夠讓開發(fā)者快速實現(xiàn)自動機器學(xué)習(xí)的搜索。

?

?

Hypernets——開發(fā)者的朋友

一款優(yōu)秀的AutoML框架應(yīng)當(dāng)在上述三個部分具有：富有表現(xiàn)力的搜索空間描述語言、支持高維空間的高效搜索算法和高性能的評估策略。Hypernets作為一個自動機器學(xué)習(xí)的底層通用框架，滿足單節(jié)點及分布式高性能的模型訓(xùn)練需求，可以在不同的空間進行搜索與訓(xùn)練，結(jié)合各種機器學(xué)習(xí)和深度學(xué)習(xí)框架開發(fā)專用自動機器學(xué)習(xí)工具，幫助用戶快速開發(fā)專用領(lǐng)域的AutoML工具。同時，Hypernets支持最新的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）算法，可以實現(xiàn)深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)設(shè)計自動化。

方磊表示，Hypernets與目前眾多的機器學(xué)習(xí)、深度學(xué)習(xí)框架相結(jié)合更快更好的生成自動機器學(xué)習(xí)工具。用5-10行代碼完全可以搜索模型，因此Hyperents一個定位就非常清晰，不管開發(fā)一個訓(xùn)練框架還是開發(fā)應(yīng)用模型，都是開發(fā)者的朋友。開發(fā)訓(xùn)練框架可以讓框架使用Hypernets很容易結(jié)合出框架本身的自動機器學(xué)習(xí)能力；如果是開發(fā)應(yīng)用模型，可以組合不同學(xué)習(xí)訓(xùn)練框架的同時，在上面使用Hypernets，端到端整個pipeline上進行自動機器學(xué)習(xí)的參數(shù)搜索，就會得到非常較好的模型。經(jīng)過大量在行業(yè)上的應(yīng)用，在特征豐富情況下，Hypernets在搜索能力包括分布式計算能力體現(xiàn)出來很多優(yōu)勢，搜索時間短，算力僅需普通訓(xùn)練的20-30倍，就能夠得到一個性能大大提升的模型。

簡單快速精準(zhǔn)的自動機器學(xué)習(xí)開發(fā)過程

開發(fā)者通過Hypernets設(shè)計不同的模塊空間(Module Space)和相應(yīng)的參數(shù)空間(Parameter Space)，通過不同的連接方式(Connection Space)將各個模塊空間組合成為一個高維的豐富動態(tài)搜索空間(Search Space)。遺傳算法作為搜索策略的一個例子，是一種非常有效的尋找局部最優(yōu)的方法，也可以與其他各類算法組合使用，實現(xiàn)更為強大的策略，例如在空間切分搜索的時候，使用遺傳算法加速子空間中的迭代。評估策略的核心在于高效：在評估不精確的情況下，通過指導(dǎo)搜索方向、節(jié)省預(yù)處理時間、防止過擬合三種方式，減少計算量，高效地利用自動機器學(xué)習(xí)找到更好的模型。作為Hypernets的一個具體實例，HyperGBM在多個公開數(shù)據(jù)集上和真實業(yè)務(wù)場景上，超過或達到了人類專家和其他AutoML工具的水平。

?

強大的自動機器學(xué)習(xí)開源框架：Hypernets家族

Gartner在2020年十大科技趨勢中，將以AutoML為代表的AI普及化作為數(shù)據(jù)與分析領(lǐng)域的重要戰(zhàn)略技術(shù)之一。作為幫助用戶快速開發(fā)專用領(lǐng)域的AutoML工具，Hypernets于2019年在GitHub進行開源，結(jié)合各種機器學(xué)習(xí)和深度學(xué)習(xí)框架開發(fā)專用自動機器學(xué)習(xí)工具，率先突破了機器學(xué)習(xí)建模過程中不均衡數(shù)據(jù)、概念漂移、模型泛化能力和大規(guī)模數(shù)據(jù)等諸多挑戰(zhàn)，提供開放的訓(xùn)練服務(wù)框架，降低了AutoML工具的開發(fā)門檻，實現(xiàn)深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)設(shè)計自動化。

方磊提到，AutoML的核心內(nèi)容是降低門檻構(gòu)建模型?；贖ypernets框架，九章云極DataCanvas自主研發(fā)的HyperGBM不僅能夠解決生產(chǎn)化困擾，同時實現(xiàn)了數(shù)據(jù)預(yù)處理、特征衍生、特征篩選、模型超參數(shù)優(yōu)化、模型選擇、模型融合全過程的全自動機器學(xué)習(xí)，僅需5行代碼就可以實現(xiàn)高質(zhì)量的模型，擁有開箱即用、簡單易用等特點，解決企業(yè)在結(jié)構(gòu)化數(shù)據(jù)建模的需求。

為避免共性問題重復(fù)開發(fā)，其研發(fā)的HyperKeras支持神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索和超參數(shù)優(yōu)，專注非共性問題，實現(xiàn)靈活高效擴展。此外，九章云極DataCanvas對AutoML技術(shù)不斷探索，開源項目DeepTables榮獲全球知名國際性競賽第一名，全新定義了深度學(xué)習(xí)技術(shù)在結(jié)構(gòu)化數(shù)據(jù)分析領(lǐng)域的價值。

Hypernets家族開源地址

?

Hypernets
https://github.com/DataCanvasIO/Hypernets

?

HyperGBM
https://github.com/DataCanvasIO/HyperGBM

?

HyperKeras
https://github.com/DataCanvasIO/HyperKeras

隨著人工智能時代對于AutoML需求的增加，九章云極DataCanvas將運用Hypernets框架融合更多的深度學(xué)習(xí)框架，推動神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的前沿發(fā)展，助力實際應(yīng)用場景中的深度學(xué)習(xí)模型落地，并且通過在AutoML、AutoDL領(lǐng)域不斷的技術(shù)創(chuàng)新，為金融、通信、政府等眾多行業(yè)實現(xiàn)數(shù)智化升級提供新動能。
?