358
隨著 “東數(shù)西算” 全國性大工程的全面啟動，數(shù)據(jù)成為數(shù)字經(jīng)濟的核心要素。而隨著5G、AI、云、IoT等技術(shù)發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)指數(shù)級增長，逐漸在企業(yè)的生產(chǎn)業(yè)務(wù)中占據(jù)更加重要的地位。
傳統(tǒng)集中式存儲煙囪式的部署模式，在擴展性和管理上的難題日益凸顯。分布式存儲，以橫向擴展的模式，讓不同類型的數(shù)據(jù)實現(xiàn)了以“融合統(tǒng)一”打破不同類型存儲間數(shù)據(jù)孤島的愿望，高效支持各類創(chuàng)新業(yè)務(wù)和應(yīng)用以統(tǒng)一的方式創(chuàng)新進步，成為新存儲時代的發(fā)展方向。
近日，筆者參與主持了主題為“破解海量異構(gòu)數(shù)據(jù)存儲難題，成就數(shù)字化轉(zhuǎn)型”的曙光技術(shù)圓桌派。在此次圓桌派上，與來自賽迪、中石化、中科天璣、中科曙光等專家大咖，深度暢聊了分布式存儲的未來發(fā)展與典型應(yīng)用。
從左至右依次為筆者本人-《海峰看科技》創(chuàng)始人-黃海峰、賽迪顧問業(yè)務(wù)總監(jiān)-高丹、中科天璣區(qū)域拓展部總經(jīng)理-劉維秦、中科曙光存儲事業(yè)部副總經(jīng)理-張新鳳，以及遠程連線的中國石油化工股份有限公司石油物探技術(shù)研究院信息中心技術(shù)主管-葛鑫
01 熱議：異構(gòu)數(shù)據(jù)暴增，存儲行業(yè)面臨新挑戰(zhàn)
數(shù)據(jù)存儲家族包括傳統(tǒng)存儲以及分布式存儲等多個細分產(chǎn)品。雖然這些存儲兄弟們都有不錯發(fā)展，但增長速度不同。
談及市場，賽迪顧問業(yè)務(wù)總監(jiān)高丹說，“2021年，分布式存儲和云存儲在量和銷售額方面的增速分別達到30%和20%，相較于傳統(tǒng)存儲的20%和8%，分布式存儲遠遠勝于傳統(tǒng)存儲。”。
為何分布式存儲更受歡迎？中科天璣區(qū)域拓展部總經(jīng)理劉維秦的分享讓我們管中窺豹。他表示：中科天璣平均每天需要采集1億條數(shù)據(jù)，而且這些數(shù)據(jù)大多是圖片、視頻類的非結(jié)構(gòu)化數(shù)據(jù)，但傳統(tǒng)存儲在擴展性和數(shù)據(jù)的統(tǒng)一管理等方面都不太適用。
但面臨各行業(yè)海量異構(gòu)數(shù)據(jù)的暴增，分布式存儲同樣面臨著不少挑戰(zhàn)。對此，嘉賓結(jié)合實際部署情況，總結(jié)出四大挑戰(zhàn)：
挑戰(zhàn)一，海量數(shù)據(jù)增長聚集。據(jù)全球知名咨詢機構(gòu)IDC預(yù)測，2025年，全球數(shù)據(jù)量將達到175ZB，5年年均復(fù)合增長率31.8%。中科曙光存儲事業(yè)部副總經(jīng)理張新鳳表示，企業(yè)需求從五年前的幾PB，增長到如今的幾十PB，甚至上百PB，未來將擴展到EB級。而其中非結(jié)構(gòu)化數(shù)據(jù)為主要增長類型，IDC同樣預(yù)測到，截止2023年，全球文件和對象數(shù)據(jù)容量增長3倍。容量不簡簡單單是設(shè)備的增加，為存儲帶來的技術(shù)難度是呈指數(shù)級增長的。
挑戰(zhàn)二，異構(gòu)數(shù)據(jù)的融合。能對5G、AI、區(qū)塊鏈等新技術(shù)有更好的支持，就需要統(tǒng)一協(xié)議的支持，打通從數(shù)據(jù)的采集、應(yīng)用、分析到歸檔的鏈路，做到異構(gòu)數(shù)據(jù)的融合；比如，滿足大文件存儲、流式數(shù)據(jù)訪問的HDFS協(xié)議；滿足跨平臺文件共享服務(wù)、遠程容災(zāi)備份的NAS協(xié)議；適合存儲海量圖片、視頻、日志文件的S3協(xié)議。
挑戰(zhàn)三，存儲需深度支撐應(yīng)用。存儲系統(tǒng)想要發(fā)揮價值，必須適應(yīng)場景。比如，目前云原生將成為市場主流，存儲系統(tǒng)就必須滿足云原生應(yīng)用需求。對此，張新鳳強調(diào)到，“存儲系統(tǒng)想要更好地支撐應(yīng)用，就必須進行深度定制。”
挑戰(zhàn)四，安全綠色成硬性要求。東數(shù)西算、“十四五”規(guī)劃等國家戰(zhàn)略，對數(shù)據(jù)存儲設(shè)備提出更高的要求。張新鳳指出，東數(shù)西算要求數(shù)據(jù)流通更高效、數(shù)據(jù)應(yīng)用更智能、數(shù)據(jù)存儲更安全、存儲設(shè)備綠色節(jié)能。
02 征戰(zhàn)：存儲新戰(zhàn)場，曙光ParaStor大放異彩
存儲行業(yè)面臨不少挑戰(zhàn)，該如何應(yīng)對挑戰(zhàn)？靠企業(yè)自身去努力，并非明智之舉。正所謂假輿馬者，非利足也，而致千里；假舟楫者，非能水也，而絕江河。在海量數(shù)據(jù)時代，誰能為企業(yè)提供這樣的“馬與舟”，實現(xiàn)自身業(yè)務(wù)和應(yīng)用的順利開展？
對此，張新鳳分享了曙光為滿足各方用戶需求打造的分布式統(tǒng)一存儲利器——曙光ParaStor。該產(chǎn)品可輕松應(yīng)對“5G+AI+云”時代下海量數(shù)據(jù)，滿足企業(yè)對多樣化應(yīng)用的數(shù)據(jù)存儲需求。
據(jù)悉，曙光ParaStor融合了文件、對象、塊、HDFS多種協(xié)議，真正實現(xiàn)了海量異構(gòu)數(shù)據(jù)資源的融合，高效助力企業(yè)的數(shù)字化轉(zhuǎn)型，可廣泛應(yīng)用于高端計算、通信、自動駕駛、EDA、能源勘探等多個領(lǐng)域，全面挖掘數(shù)據(jù)的潛在價值。
你可能要問，曙光ParaStor有何優(yōu)勢？在筆者看來，具體看有四大優(yōu)勢。
第一，曙光ParaStor單一存儲節(jié)點同時支持文件、塊、對象、HDFS四種存儲服務(wù)，3節(jié)點存儲集群即可承載非結(jié)構(gòu)化與結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)，消除存儲設(shè)備多樣性及管理復(fù)雜性，降低存儲系統(tǒng)的構(gòu)建成本。
第二，曙光ParaStor對象接口，對IO協(xié)議棧進行極簡優(yōu)化，實現(xiàn)了單桶千億KB級小對象的存儲能力，存儲集群百萬級TPS吞吐性能可達到業(yè)內(nèi)領(lǐng)先水平。
第三，曙光ParaStor提供原生HDFS接口，無任何協(xié)議損耗，無縫接入大數(shù)據(jù)平臺，實現(xiàn)存儲與計算資源按需配置的同時，滿足新老存儲同時讀寫，應(yīng)用“0”改造，數(shù)據(jù)“0”遷移，構(gòu)建更具高性價比的大數(shù)據(jù)存算分離解決方案。
第四，據(jù)張新鳳透露，曙光將于2022年再次升級曙光ParaStor，加持液冷設(shè)計，再加上前端曙光液冷的計算節(jié)點，完全形成一體化的液冷存儲方案，PUE值可達到1.04。
03 探秘：曙光憑什么站上數(shù)據(jù)存儲之巔？
優(yōu)秀的產(chǎn)品背后是過硬的技術(shù)支撐。“存儲市場是需要很深技術(shù)積累和很大資金投入的市場，所以很早預(yù)估到行業(yè)的發(fā)展趨勢，進行自主研發(fā)產(chǎn)品的企業(yè)，一定會跟未來的趨勢高度結(jié)合。”在對話中，賽迪顧問業(yè)務(wù)總監(jiān)高丹如此表示。
首先，曙光存儲擁有深厚自研經(jīng)驗，十年來更快把握市場趨勢。我們從曙光的分布式存儲角度看，早在2009年，曙光推出第一代全自主研發(fā)的分布式存儲系統(tǒng)ParaStor，基于POSIX協(xié)議，在做數(shù)據(jù)處理的時候有很好的性能體驗；2013年，數(shù)據(jù)中心已經(jīng)開始比較規(guī)模化的部署，這個時候曙光完成了對NAS協(xié)議的支持；2019年，基本各個行業(yè)都在普及云化，曙光為解決業(yè)務(wù)上云的問題，又推出分布式塊協(xié)議?，F(xiàn)在，曙光分布式存儲系統(tǒng)ParaStor完成了對文件、塊、對象和大數(shù)據(jù)協(xié)議的支持，基本覆蓋所有應(yīng)用場景。
其次，曙光存儲擁有超大規(guī)模部署經(jīng)驗。熟知存儲設(shè)備的朋友都知道，分布式存儲系統(tǒng)的超大規(guī)模部署經(jīng)驗與應(yīng)用支持，是存儲玩家重點比拼的關(guān)鍵點。
最后，曙光擁有按需定制服務(wù)能力。面對當前分布式存儲多樣化的應(yīng)用需求，定制能力是存儲設(shè)備支持多樣應(yīng)用的關(guān)鍵。曙光擁有完善的本地化技術(shù)支持團隊，具備定制化設(shè)計、開發(fā)與落地能力。
張新鳳在論壇探討中介紹：“要快速響應(yīng)市場需求，推出合適的產(chǎn)品，首先要有強有力的團隊支撐，其次是對行業(yè)的深耕和理解，基于以上兩者的優(yōu)勢，曙光對用戶推出定制化的產(chǎn)品及運維服務(wù)。”
據(jù)悉，定制能力讓曙光在多個案例中大放異彩。在某研究所氣候模擬科學(xué)裝置系統(tǒng)項目中，為了解決用戶業(yè)務(wù)流程耗時過長的問題，曙光集結(jié)專業(yè)研發(fā)團隊為客戶定制加速技術(shù)，在計算和存儲節(jié)點之間，配備了大內(nèi)存和高速NVMe的性能加速節(jié)點，把大量4K非對齊IO在這個節(jié)點上先做聚合，再到存儲上面。最后用戶實測使用性能提升8到10倍。
觀察：
ParaStor將成為數(shù)字時代全能利器
數(shù)字時代，數(shù)據(jù)如工業(yè)時代石油。只有讓海量數(shù)據(jù)高效運轉(zhuǎn)、處理、存儲起來，企業(yè)才能分析數(shù)據(jù)，挖掘價值。在分布式存儲需求旺盛的背景下，各行業(yè)需要不斷創(chuàng)新，應(yīng)對挑戰(zhàn)，發(fā)揮數(shù)據(jù)威力。
我們看到，作為國內(nèi)第一批做自研分布式存儲的廠商，曙光不斷進行自我革新，根據(jù)市場趨勢進行曙光ParaStor分布式存儲系統(tǒng)產(chǎn)品的迭代升級，開發(fā)更多場景應(yīng)用，切實推進企業(yè)的數(shù)字化轉(zhuǎn)型。
基于以上分析，筆者認為，曙光存儲系統(tǒng)ParaStor在性能、安全、綠色等方面都表現(xiàn)出色，在順應(yīng)國家數(shù)字戰(zhàn)略的同時，滿足了諸多企業(yè)的實際需求，未來將成為各行業(yè)征戰(zhàn)數(shù)字時代的一把全能利器。
