<rt id="kycku"><small id="kycku"></small></rt>
<rt id="kycku"><small id="kycku"></small></rt><acronym id="kycku"><center id="kycku"></center></acronym>
<rt id="kycku"><small id="kycku"></small></rt>
×
×

曙光ParaStor十年記:做存儲的坎,他們都遇上了!

2019-11-02 00:40:47 來源:中科曙光/sugoncn
大眾創業時代,人們常談“自研”。但在國內存儲行業,將“自研”付諸實踐,堅持10年的企業卻沒幾家。

但即使用10年時間,自研出代表行業先進水平的產品,生存和發展的壓力仍在每名研發、產品、運營人員的肩頭。

這或許印證了中國存儲人、中國IT人的使命——抓住海量數據爆發的時代機遇,成就一款眾人皆知的經典產品。

下面講述的,是中國最早自研分布式存儲產品——中科曙光“ParaStor”的10年往事。愿這些過往能給同為追求極致的IT人些許幫助和啟示。



圖說:10周年慶典現場,曙光員工正給ParaStor慶生

存儲十字路口

ParaStor的10年,始于2009年夏天。

站在中科院計算所大樓,眺望施工不斷的中關村,已過而立之年的苗艷超,下定決心離開工作多年的計算所去企業。

要去的企業名叫“曙光”,他要負責一款從無到有的存儲產品開發。

當時,鮮有人談大數據、人工智能,少數國際廠商開始講“分布式存儲”。站在存儲發展的十字路口,各大廠商開始了對未來的爭奪。

2009年,Cisco宣布進入服務器和存儲市場,與此同時EMC參與NetApp競購,并與Cisco、VMware兩家廠商結成VCE聯盟。Oracle收購SUN公司,具備了存儲軟硬件一體的產品格局……

2009年“選擇”擺在了曙光人面前。

隨著曙光服務器進入更多行業和領域,突破存儲瓶頸成為當時要務。但此時,曙光還未有自研的,滿足高并發IO需求的商業化存儲產品。

而苗艷超所在計算所智能中心,便一直研發有高并發IO特點的“集群文件系統”,但這些研究成果只停留在課題中,未形成商業化產品。

不到五人的研發團隊

到曙光后,苗艷超的第一個難題便是“曙光存儲的技術路線要怎么走?”

“Parastor立項就面臨技術路線選擇問題,一個是以磁盤陣列作為基礎部件;另一種是以x86架構的高性能服務器為底層硬件,數據冗余機制由上層文件系統負責提供的分布式存儲系統。”苗艷超回憶。

此時,為減少對大廠存儲技術依賴,以及跟上“大數據”時代技術趨勢,結合曙光自有的產品生態和優勢,苗艷超和同事選擇了更具前瞻性和挑戰的分布式存儲系統研發路線。

但此時加上苗艷超,初期的ParaStor研發團隊只有不到5人,相比同類廠商動輒上百人的研發隊伍,連零頭都不到。



圖說:曙光存儲產品事業部總工程師 苗艷超

為加快研發進度,當時每人都領了不同產品領域去研究,經常半夜誰有想法就爬起來發郵件,一起討論可行性。

最終不到一年,ParaStor1.0便問世了。如今看來ParaStor1.0很原始,僅支持副本冗余,沒有糾刪碼等如今“分布式”存儲系統必備的技術,但它為ParaStor的發展明確了方向。

2010年,ParaStor從1.0升級到1.5,這是ParaStor第一個商業化軟件版本。為建口碑,當時團隊內部定了一個目標,有BUG必須24小時內解決。很多BUG都是當天發現,研發團隊通宵修改,第二天客戶上班,BUG已解。

最終,初出茅廬的ParaStor以高性能和良好的擴展性獲得首批客戶的認可,該版本也為國內首臺性能超千萬億次的計算系統“曙光星云”,構建了當時國內最大的單一存儲系統(16PB)。

此次成功部署,使得“曙光能做分布式存儲產品”的理念深入公司內外,從此ParaStor步入了高速市場化發展軌道。

戰書

“三年后,曙光存儲要占領國內10%的市場份額,進入存儲主流市場”2012年7月,時任曙光存儲產品總監惠潤海,面對發布會現場記者立下戰書。



圖說:曙光存儲產品事業部總經理惠潤海

而打贏這場仗的排頭兵便是ParaStor。

惠潤海立下戰書后不到半小時,現場就有媒體提問“在國際廠商搶先進入市場的背景下,曙光靠什么獲得主流客戶的認可?”

對此,惠潤海表示,曙光的立身之本有兩點:一是要靠自主研發,掌握核心技術,應對海量數據增長所帶來的一系列挑戰;二是在行業深耕細作,通過對行業應用的快速適配和深入優化,打造差異化優勢,實現重點市場的逐個突破。

相比于2009年,此時已進入“大數據元年”,中國互聯網產業在起飛。當時IDC研究報告顯示,大數據技術和服務市場至2017年的增長率可達27%,增速是整個信息和通訊技術市場的6倍。

但就在惠潤海立戰書的幾天前,連媒體也沒幾人知道ParaStor。不知道ParaStor的,還有將成為ParaStor研發工程師的郭洋。

2012年,在國內某IT大廠做存儲產品的郭洋,決定從原先安穩的公司來到曙光。但在網上搜索自己要在新單位開發的產品“ParaStor”,卻找不到太多信息。

“當時的分布式存儲還是國際大廠的天下,國內的產品嚴格上講僅有兩家,曙光算一個。此外,當時類型相近的國際大廠分布式存儲產品價格是國產產品的五到十倍。”郭洋回憶。



圖說:采用ParaStor存儲平臺的山西先進計算中心

做到極致

當時ParaStor面臨的最大問題之一,就是如何提升存儲空間利用率,根據團隊之前的積累,實現這點對郭洋和他的團隊并不算挑戰。但相應的產品測試與驗證調優,則是考驗團隊專業性的時候。“要考慮用戶端可能出現的各種情況,要做多種排列組合數量的測試和優化。”郭洋說。

在實現ParaStor升級的過程中,郭洋也理解“做到極致”的曙光產品理念,以及曙光存儲堅持自研的原因。

在一個CANU三代基因組裝測試項目中,用戶要求曙光ParaStor的性能必須超越某廠商宣稱的“代表業界最高性能”的同類產品,才考慮把其業務遷移到曙光平臺上。

面對新挑戰,郭洋和同事在兩周內,將整個業務流程各階段(涉及幾十個進程)的數據IO特點梳理成報告,并同同事一起從底層代碼逐一調優,最終用戶計算用時從9.2小時降低到7.3小時,實測性能超過友商20%以上。

就在郭洋和同事精益求精,不斷將ParaStor產品性能做到極致時,市場也向曙光遞來了橄欖枝。

2013年,ParaStor2.0版本發布,增強了數據保護機制,可為用戶構建數據全生命周期管理的一體化方案。同年,ParaStor為央視國際打造6PB存儲資源池,并在全國多地中標氣象局、環保局項目。

2015年,據IDC報告顯示ParaStor在國內NAS市場排名位居第一,營收同比增長42.6%,占全部NAS存儲市場份額21.6%。三年前惠潤海下的戰書達成了,直到今天ParaStor一直保持國內NAS存儲市場占有率的前兩位。
 
多元化需求 本地化服務

2018年夏的一天夜里兩點,在睡夢中的曙光存儲運維工程師呂山被客戶的電話驚醒。
當時一位江蘇的視頻存儲業務客戶,因操作不當導致后臺出問題。呂山立刻利用客戶提供的安全通道登錄系統,查看日志,最終與同事一起找到問題并解決。

存儲作為數據中心的核心之一,任何架構、系統、應用的變化都有可能導致問題。這就需要曙光的存儲運維人員耐心、負責地提供各種咨詢、服務支持。

半夜接到客戶電話,對于呂山和同事是常有的事。

2015年前后,隨ParaStor產品銷量增長,運維壓力增加。“行業不同,客戶運維人員水平不一,導致運維的個性化需求不同、復雜度增加,這就需要我們堅持本土化服務,解決用戶痛點。”ParaStor產品經理石冬林說。

河北姑娘石冬林,2012年研究生畢業即加入曙光存儲產品線,2015年起擔任ParaStor產品經理,主要負責分布式存儲產品定義、市場推廣與運營工作。

市場對存儲產品的要求也趨于多元,相比滿足單一的云服務、虛擬化等應用,如今客戶希望不同應用之間實現數據靈活流動。

ParaStor如何應對新市場的挑戰,成為石冬林和同事不斷思考的問題。目前石冬林給出的方案之一是“融合”。

 “融合性,簡單舉例來說,就是ParaStor除了支持文件、對象存儲外,今后還要支持塊存儲。一套存儲應對用戶不同的業務需求,實現融合。”石冬林說。

相比傳統分布式存儲產品,如今曙光ParaStor已成為省、市級別先進計算中心的首選存儲平臺。“在先進計算中心,ParaStor融合非結構化與結構化數據存儲,融合通用計算、大數據、AI等業務應用”石冬林介紹。

“昨天已過去,明天仍是挑戰

曙光存儲事業部總經理惠潤海表示,“ParaStor產品歷經十年發展,過程特別不易,測試、產品、售前到售后支持都非常不容易。所有人都全身心地投入其中,就像呵護自家寶貝一樣陪伴她成長。”

在誕生10年之際,曙光表示這個“小寶貝”的最新版本——ParaStor300S,實現了融合存儲架構,集群存儲系統可對外統一提供文件、對象、塊等存儲協議。此外,曙光ParaStor產品明確三大發展方向:本土化、閃存化、融合智能,領跑數字經濟時代。


圖說:ParaStor300S

經過十年發展,如今ParaStor管理著數EB存儲空間,實現了TB級訪問帶寬。服務對象遍及氣象、能源、生物、金融、廣電、交通等多個行業。IDC排名連續7年位居國內NAS存儲市場前二位;而曙光ParaStor產品、研發團隊,也從最早不足5人,發展到如今數百人。

“昨天已經過去了,明天仍充滿挑戰”惠潤海最后表示,ParaStor十年取得的成績令人振奮,但我們還有更高的目標,今后仍面臨挑戰。“未來10年,我們將繼續專注技術、扎根本土、主動創新的傳統,更貼近用戶應用,不斷滿足中國存儲用戶需求。”惠潤海說。

 
圖說:曙光存儲團隊

后記:

“十年去了,少年志猶在”

“如果對明天沒有要求”便不會有曙光分布式存儲產品ParaStor的10年。

技術迭代加速,IT產業競爭加劇。在莫測的市場環境中,只有持之以恒做好一件事,別無旁顧打造“極致產品”,持續為行業、用戶創造核心價值,才能免于被時代所淘汰。
將以上簡單的道理付諸實踐,堅持10年,這或許便是曙光人的發展和成功之道。
 


全部評論

X
美国性生活教育片