先進(jìn)存力，已是數(shù)智化轉(zhuǎn)型的核心基建。

文｜游勇

編｜周路平

在人工智能蓬勃發(fā)展和數(shù)智化轉(zhuǎn)型的當(dāng)下，存儲的價(jià)值愈發(fā)凸顯。

隨著數(shù)據(jù)量的急劇膨脹，以及大模型訓(xùn)推和業(yè)務(wù)實(shí)時(shí)分析的需要，傳統(tǒng)的數(shù)據(jù)中心越來越力不從心，存儲系統(tǒng)亟需向更高吞吐量，更低時(shí)延，更高效數(shù)據(jù)管理的先進(jìn)數(shù)據(jù)基礎(chǔ)設(shè)施演變。

IDC則在《構(gòu)建面向智能化時(shí)代的先進(jìn)存力中心》白皮書中提到，要“適度超前建設(shè)先進(jìn)存力中心”。

01

AI時(shí)代下，存儲也是一等公民

39.5ZB，這是IDC預(yù)測的中國在2024年的數(shù)據(jù)總生成量。四年后，這個(gè)數(shù)字將達(dá)到97.1ZB。

或許你對存儲容量單位沒有概念，如果拿當(dāng)下內(nèi)存容量最大的手機(jī)來對比，1ZB就需要10億臺1TB內(nèi)存容量的手機(jī)才能放得下。

數(shù)據(jù)正處于大爆炸階段。從互聯(lián)網(wǎng)到移動(dòng)互聯(lián)網(wǎng)到物聯(lián)網(wǎng)、人工智能，每天產(chǎn)生的數(shù)據(jù)量越來越大，而且種類越來越豐富，不僅有結(jié)構(gòu)化數(shù)據(jù)，還有大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。

海量的數(shù)據(jù)對存儲系統(tǒng)提出了更高的容量要求。數(shù)智前線在統(tǒng)計(jì)政企招投標(biāo)采購時(shí)發(fā)現(xiàn)，今年前8個(gè)月已經(jīng)出現(xiàn)了數(shù)百個(gè)與存儲相關(guān)的項(xiàng)目，主要涉及金融、制造、能源、運(yùn)營商、交通等行業(yè)。在大模型熱的背景下，存儲市場也分外活躍。

另外，大量數(shù)據(jù)只管存，很少被真正用起來，價(jià)值挖掘不夠。但現(xiàn)在無論是AI的需求，還是業(yè)務(wù)場景的需要，使得高頻率、高速率、大帶寬的實(shí)時(shí)讀寫需求猛增，存儲系統(tǒng)也需要具備大帶寬、低時(shí)延、高并發(fā)的存儲性能，以支持實(shí)時(shí)數(shù)據(jù)的高速讀寫和分析處理。

“AI的興起是對數(shù)據(jù)價(jià)值的再發(fā)現(xiàn)。”曙光存儲副總裁郭照斌說，以前存儲是被動(dòng)響應(yīng)上層需求，但在數(shù)智化時(shí)代下，數(shù)據(jù)的價(jià)值被提到了新的高度，“以前大家覺得死的數(shù)據(jù)，現(xiàn)在經(jīng)過反復(fù)的迭代訓(xùn)練，它能產(chǎn)生智能化的東西，它能產(chǎn)生新的數(shù)據(jù)，這個(gè)時(shí)候大家才重視起來。”

過去，業(yè)內(nèi)存在“重算力輕存力”的現(xiàn)象，建設(shè)了大量以GPU為主的智能算力基礎(chǔ)設(shè)施，而忽視了對先進(jìn)存力的建設(shè)。去年初，英偉達(dá)發(fā)布過一個(gè)AI數(shù)據(jù)中心購置預(yù)算的構(gòu)成，其中存儲僅占20%。

但越來越多人發(fā)現(xiàn)，存儲的性能深刻影響了算力性能的發(fā)揮。

尤其在大模型的訓(xùn)練過程中，光解決算力和數(shù)據(jù)問題遠(yuǎn)遠(yuǎn)不夠，很多企業(yè)在采購了不少GPU后，發(fā)現(xiàn)往往很難滿負(fù)荷運(yùn)轉(zhuǎn)，網(wǎng)絡(luò)和存儲經(jīng)常遇到瓶頸，出現(xiàn)等待和浪費(fèi)，拖累整個(gè)模型的訓(xùn)練效率。

由于傳統(tǒng)業(yè)務(wù)對存儲的性能基本在百GB級，而大模型的訓(xùn)練，對存儲的需求激增到TB級。無論是海量訓(xùn)練數(shù)據(jù)加載、PB級斷點(diǎn)續(xù)訓(xùn)，還是高并發(fā)推理問答，存儲性能直接決定了整個(gè)訓(xùn)練推理過程中的GPU利用率。特別是在萬卡集群下，較差的存儲性能嚴(yán)重增加GPU閑置時(shí)間，造成資源的極大浪費(fèi)。

有報(bào)告曾提到，在同等GPU算力規(guī)模下，存儲性能的高低可能造成模型訓(xùn)練周期數(shù)倍的差異。

而且，相比于傳統(tǒng)AI的需求，大模型的場景具有數(shù)據(jù)量大、參數(shù)規(guī)模大、訓(xùn)練周期長等特點(diǎn)。相對應(yīng)的，它對存力提出了更高的要求，更加強(qiáng)調(diào)高吞吐、高IOPS、高帶寬、低延時(shí)等極致性能。

存儲系統(tǒng)正逐漸演進(jìn)到更高吞吐量，更低時(shí)延，更高效的數(shù)據(jù)平臺。而傳統(tǒng)的數(shù)據(jù)中心面臨升級，新形態(tài)之一就是建設(shè)存算協(xié)同的先進(jìn)存力中心。

曙光存儲副總裁郭照斌說，數(shù)智化時(shí)代，存儲不再是單純的被動(dòng)響應(yīng)，它會隨著算力的發(fā)展協(xié)同往前發(fā)展。

中科院院士錢德沛更是直言：存儲也是一等公民。換句話說，在AI時(shí)代，沒有先進(jìn)存力，算力也無法充分發(fā)揮，兩者已經(jīng)是相輔相成的關(guān)系。

越來越多人意識到存儲的價(jià)值。今年，中國計(jì)算機(jī)學(xué)會（CCF）首次舉辦了存儲大會。而2024年10月，中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會也成立了數(shù)據(jù)存儲專業(yè)委員會，曙光是會長單位。業(yè)內(nèi)甚至有一種說法，存儲是算法、算力、數(shù)據(jù)之外，AI基礎(chǔ)設(shè)施的第四支柱。

不過，郭照斌也提到，在存儲標(biāo)準(zhǔn)方面，依然還有很長的路要走。比如存儲的評價(jià)方法、測試方法目前還沒有特別明確的統(tǒng)一標(biāo)準(zhǔn)；而存儲的協(xié)議目前也比較老舊，在應(yīng)用端造成很多的不便。

02

先進(jìn)存力，打通中國存儲產(chǎn)業(yè)

構(gòu)建先進(jìn)存力中心，成為智能時(shí)代解決數(shù)據(jù)難題的必然發(fā)展方向。

IDC在《構(gòu)建面向智能化時(shí)代的先進(jìn)存力中心》白皮書中提到，先進(jìn)存力中心的技術(shù)突破和應(yīng)用主要體現(xiàn)在應(yīng)用EB級平滑擴(kuò)展能力、多協(xié)議支持、先進(jìn)軟件架構(gòu)能力、多重防護(hù)機(jī)制、智能化管理平臺、液冷等先進(jìn)技術(shù)，共同鑄就其高效融合、提質(zhì)增效、全域流動(dòng)、安全可靠、綠色低碳等五大特征。

這些特征背后對應(yīng)的都是當(dāng)前存儲系統(tǒng)需要應(yīng)對的難題和挑戰(zhàn)。

比如，隨著數(shù)據(jù)來源和格式越來越復(fù)雜，不同存儲系統(tǒng)之間產(chǎn)生了數(shù)據(jù)孤島，影響數(shù)據(jù)的管理和有效利用。而且，許多傳統(tǒng)存儲系統(tǒng)在設(shè)計(jì)時(shí)未充分考慮擴(kuò)展性，難以應(yīng)對業(yè)務(wù)發(fā)展的需要。

而先進(jìn)存力中心具備足夠的靈活性和可擴(kuò)展性，一方面可以兼容不同架構(gòu)技術(shù)棧，用戶可根據(jù)自身需求靈活選擇技術(shù)方案；另一方面，當(dāng)面對高并發(fā)和大數(shù)據(jù)集的存儲需求時(shí)，能夠平滑擴(kuò)容。

比如大容量、高速率、低延遲逐漸成為智能化時(shí)代評估存儲系統(tǒng)性能的重要指標(biāo)，但當(dāng)前存儲設(shè)備的容量和讀寫性能成為提質(zhì)增效的重要瓶頸。而先進(jìn)存力中心要求具備更高的性能，通過提升NVMe全閃存的比重，應(yīng)用多級數(shù)據(jù)加速技術(shù)等，來實(shí)現(xiàn)海量的存儲空間、超高的吞吐量和IOPS能力。

算力流動(dòng)本質(zhì)是數(shù)據(jù)要素的流動(dòng)。數(shù)據(jù)流動(dòng)需要攻克跨域存儲集群組合管理、數(shù)據(jù)冷熱分級感知、數(shù)據(jù)跨域網(wǎng)智能流動(dòng)及跨域無感知訪問等關(guān)鍵技術(shù)，支撐存力資源的優(yōu)化布局。

而先進(jìn)存力中心需要支持?jǐn)?shù)據(jù)的全域流動(dòng)，包括數(shù)據(jù)在集中式、分布式存儲之間的跨平臺流動(dòng)，支持云端和本地化數(shù)據(jù)之間的流動(dòng)，以及熱溫冷數(shù)據(jù)跨形態(tài)的流動(dòng)等。

另外，綠色低功耗也在成為先進(jìn)存力中心的必選項(xiàng)。

IDC數(shù)據(jù)顯示，存儲耗能約占數(shù)據(jù)中心總能耗的35%。IDC中國區(qū)副總裁周震剛提到，過往都是算力中心對能耗有比較高的要求，存儲和GPU消耗的算力不在一個(gè)級別，但隨著大模型訓(xùn)練對于存儲I/O吞吐的訪問猛增，存儲的功耗也被提了起來，所以存儲對液冷等綠色技術(shù)有了更多的需求。

而作為先進(jìn)存力中心概念的倡導(dǎo)者和先行者，曙光存儲正在快速適應(yīng)AI時(shí)代存儲市場的需要。

2024年6月，曙光存儲發(fā)布全球首個(gè)億級IOPS集中式全閃存儲FlashNexus，“帶來了劃時(shí)代的性能革新”，成為業(yè)界唯一具備百控級擴(kuò)展能力的集中式存儲產(chǎn)品，主要用于金融、運(yùn)營商、醫(yī)療等行業(yè)的核心業(yè)務(wù)系統(tǒng)。

當(dāng)下，發(fā)展全閃介質(zhì)已經(jīng)成為行業(yè)共識。相比傳統(tǒng)的HDD，全閃存介質(zhì)支持高IOPS、低時(shí)延，更適用于AI大模型訓(xùn)練階段的隨機(jī)讀寫場景。

在發(fā)布了首個(gè)集中式全閃產(chǎn)品的同時(shí)，曙光也升級了分布式存儲產(chǎn)品——ParaStor全閃存儲，主要面向AI應(yīng)用，依托NVMe全閃的技術(shù)優(yōu)化，單節(jié)點(diǎn)帶寬最高達(dá)到150GB/s、320萬IOPS。

ParaStor全閃存儲采用業(yè)界首創(chuàng)五級加速方案。比如BurstBuffer加速層，只需將關(guān)鍵數(shù)據(jù)存儲在計(jì)算節(jié)點(diǎn)本地的NVMe盤上，避免大量的網(wǎng)絡(luò)數(shù)據(jù)傳輸和遠(yuǎn)程存儲訪問，適合存儲和快速讀取海量小文件，能夠?qū)⒆x取性能提升數(shù)倍甚至十倍以上。比如XDS雙棧兼容，讓GPU直接訪問存儲，不僅減少了CPU本身的損耗，也縮短了整個(gè)I/O通路，降低了延時(shí)。

基于分布式帶來的擴(kuò)展能力，曙光ParaStor分布式全閃存儲已經(jīng)在科教、金融、運(yùn)營商、生信等領(lǐng)域，以及自動(dòng)駕駛等AI前沿的應(yīng)用場景中廣泛落地。比如智元機(jī)器人公司在過去一年時(shí)間，頻繁發(fā)布新品，而智元能實(shí)現(xiàn)產(chǎn)品的快速迭代，背后也是曙光ParaStor分布式全閃存儲在提供支撐。

如今，曙光存儲已經(jīng)形成了FlashNexus集中式存儲和ParaStor分布式存儲兩大產(chǎn)品線。曙光將其分別稱為強(qiáng)存和智存，從其字面意思不難理解，集中式存儲面向的是金融、運(yùn)營商等領(lǐng)域的核心業(yè)務(wù)場景，對性能和可靠性要求高；而以分布式存儲為代表的智存面向的是AI等敏態(tài)業(yè)務(wù)需要。

而在這兩大不同架構(gòu)的產(chǎn)品線之間，曙光又推出了通存的方案，打通集中式存儲與分布式存儲壁壘，讓數(shù)據(jù)無界流動(dòng)，實(shí)現(xiàn)跨平臺一鍵式容災(zāi)恢復(fù)、跨形態(tài)熱溫冷數(shù)據(jù)無感流動(dòng)和跨域資源池全維度視圖，以充分提升存儲資源利用率，同時(shí)更好地支持東數(shù)西存、東數(shù)西渲、東數(shù)西訓(xùn)等應(yīng)用場景。

通過強(qiáng)存+智存+通存的產(chǎn)品和方案組合，曙光給AI時(shí)代提供的全新數(shù)據(jù)基礎(chǔ)設(shè)施正在得到越來越多用戶的認(rèn)可。根據(jù)IDC年上半年最新數(shù)據(jù)顯示，曙光的市場增速達(dá)到了19.2%，遠(yuǎn)高于市場平均水平。

03

先進(jìn)客戶，走出了最佳實(shí)踐

位于重慶的西部科學(xué)城先進(jìn)數(shù)據(jù)中心是東數(shù)西算的示范項(xiàng)目，也是成渝樞紐的主節(jié)點(diǎn)，通過高密度液冷機(jī)架和風(fēng)冷機(jī)架相結(jié)合的方式，這里的核心計(jì)算設(shè)備PUE能做到1.04，能耗遠(yuǎn)低于行業(yè)平均水平。

作為先進(jìn)存力中心的代表之一，這里具備百PB級的海量存儲容量，支持冷溫?zé)岱旨壌鎯�跨區(qū)域無感調(diào)度，可以按需為上層提供從文件、塊、大數(shù)據(jù)等多種協(xié)議的支持，靈活適配前端應(yīng)用。

IDC認(rèn)為，政府建設(shè)區(qū)域先進(jìn)存力中心，需要綜合考慮基礎(chǔ)設(shè)施供應(yīng)、建設(shè)與運(yùn)營成本、中心整體存力及算力性能配比、數(shù)據(jù)安全與隱私保護(hù)、生態(tài)開放、綠色低碳發(fā)展要求等。

為了滿足不同客戶在先進(jìn)存力上的需求，曙光已經(jīng)探索出了三種部署模式。

除了上述為政府建設(shè)區(qū)域先進(jìn)存力中心，在行業(yè)領(lǐng)域，先進(jìn)存力中心也有廣闊的發(fā)揮空間。比如高端計(jì)算在氣象、環(huán)境、海洋等領(lǐng)域已經(jīng)非常普遍，這些行業(yè)對數(shù)據(jù)處理能力有著非常高的要求，構(gòu)建行業(yè)/產(chǎn)業(yè)鏈先進(jìn)存力中心變得至關(guān)重要。

中國氣象局與曙光合作，構(gòu)建了橫跨三地的存力平臺，建立了國省統(tǒng)一的數(shù)據(jù)環(huán)境，并以NVMe全閃存儲帶來超強(qiáng)的IOPS性能。根據(jù)億歐智庫發(fā)布的報(bào)告顯示，中科曙光以52%的市場份額，位居2023年度中國氣象高端計(jì)算服務(wù)市場應(yīng)收份額頭名。

一位曙光的人士透露，針對行業(yè)的先進(jìn)存力中心，曙光會針對行業(yè)數(shù)據(jù)匯聚需求，做跨域流通的準(zhǔn)備。比如中國移動(dòng)攜手曙光存儲打造了業(yè)內(nèi)首個(gè)存力智能調(diào)度平臺。其核心能力包括數(shù)據(jù)的分級及策略管理，可以按照冷、熱、溫?cái)?shù)據(jù)進(jìn)行分級管理；統(tǒng)一觀測，支持異構(gòu)存儲統(tǒng)一管理，數(shù)據(jù)和存力分布一目了然；數(shù)據(jù)跨區(qū)域遷移，支持不同資源池間數(shù)據(jù)自由遷移，實(shí)現(xiàn)業(yè)務(wù)無感訪問。

企業(yè)也有自建先進(jìn)存力中心的需求，海量數(shù)據(jù)成為分析和大模型訓(xùn)練的基礎(chǔ)，企業(yè)級先進(jìn)存力中心不僅能夠提供高效、安全的數(shù)據(jù)存儲解決方案，還能夠支持快速的數(shù)據(jù)訪問和處理能力，這對于加速AI模型的訓(xùn)練與推理過程尤為重要。

比如某家人工智能企業(yè)，面臨著訓(xùn)練數(shù)據(jù)龐大和推理過程對讀寫速度高的困擾，這家企業(yè)通過與曙光合作，構(gòu)建先進(jìn)存力中心，應(yīng)用簡潔的系統(tǒng)架構(gòu)、高效的數(shù)據(jù)流轉(zhuǎn)性能、百微秒級元數(shù)據(jù)極致訪問性能，為業(yè)務(wù)提供堅(jiān)實(shí)支撐。

除了人工智能廠商，自動(dòng)駕駛企業(yè)也對先進(jìn)存力中心有著旺盛需求，曙光存儲以超過100PB的存儲能力支撐某自動(dòng)駕駛企業(yè)的模型迭代。

而這些先進(jìn)客戶背后，都代表了所在行業(yè)和領(lǐng)域的動(dòng)向和訴求。曙光存儲通過發(fā)揮技術(shù)創(chuàng)新和資源整合能力，打通存儲產(chǎn)業(yè)上下游，持續(xù)推動(dòng)三大創(chuàng)新部署模式落地，也取得了階段性成果。

背后離不開長期的產(chǎn)業(yè)實(shí)踐和技術(shù)積累。曙光在存儲領(lǐng)域的開拓已有二十年，早在2004年開始堅(jiān)定選擇自研路線，致力于解決中國存儲產(chǎn)業(yè)的底層技術(shù)難題。2009年曙光自研的存儲系統(tǒng)ParaStor正式誕生。2022年11月，曙光ParaStor分布式統(tǒng)一存儲系統(tǒng)登頂IO5O0全球存儲性能評測的榜首。

2023年，曙光存儲作為存儲領(lǐng)域的先行者和探索者，率先提出“先進(jìn)存力”的概念，首批試點(diǎn)完成了一些先進(jìn)存力中心的建設(shè)。經(jīng)歷了多個(gè)產(chǎn)業(yè)化升級的曙光存儲，不僅幫助用戶實(shí)現(xiàn)了數(shù)據(jù)基礎(chǔ)設(shè)施的更新迭代，也在服務(wù)用戶的過程中走出了最佳實(shí)踐，實(shí)現(xiàn)了蝶變。