IDC預測,全球數據總量將在2020年達到40ZB。40ZB的數據量是什么概念呢?IDC給出了一個比喻:如果把一粒沙子當做一個字的話,40ZB的數據量相當于地球上所有海灘上沙子數量的57倍;40ZB的數據量相當于667千億部高清影片,一個人每天24小時連續(xù)不斷地看,看完這些電影需要5萬6千億年;目前我們對地球年齡的估值是45.5億年,意味著,如果這個人從地球誕生的時候就開始看電影,現在他只看完了這些電影總數的萬分之八(0.0008)。而這些數據,每兩年還將翻一番,呈指數級增長態(tài)勢。大數據將以一種史無前例規(guī)模深刻地影響整個IT行業(yè)和人類社會生活; 它也被認為是下一個創(chuàng)新、競爭力和生產力的前沿。如何應對洶涌而來的數據洪水,充分、高效挖掘海量數據中潛藏的巨大機會,正在成為整個IT行業(yè)的關鍵聚焦。越來越多的全球IT巨頭開始通過收購、合作的方式來實現技術、產品和解決方案的互補及整合。
CTI論壇(ctiforum)4月8日消息(記者 李文杰):近日,全球領先的信息與通信解決方案供應商華為,與全球計算創(chuàng)新領域的領先廠商英特爾啟動在大數據存儲領域戰(zhàn)略合作的消息再一次吸引了全球目光。
雙方將協作構建“全融合”的大數據存儲解決方案,實現對大數據全生命周期的高效存儲、使用和管理。根據協議,雙方將成立核心技術團隊,開展包括架構師合作、研發(fā)路標共享等前期技術合作,并在產品、解決方案及前沿技術創(chuàng)新方面進行聯合開發(fā)、驗證和優(yōu)化,同時啟動包括市場戰(zhàn)略、合作營銷和合作貿易展會在內的全面營銷合作。這是華為存儲與世界一流IT合作伙伴密切合作、構建和諧共贏行業(yè)生態(tài)系統(tǒng)戰(zhàn)略的重要組成部分。
分析人士指出,此次華為與英特爾的合作源于雙方在大數據存儲領域的共識;另外,作為具有ICT全行業(yè)解決方案能力背景的專業(yè)存儲廠商,華為擁有全球領先的數據存儲能力和完善的存儲解決方案體系,而英特爾在大數據、橫向可擴展存儲和軟件定義存儲領域具備領先技術,雙方的互補優(yōu)勢讓業(yè)界對此次合作充滿期待。
華為表示,大數據存儲的基礎在于為海量數據提供超大容量、超高性能、超強擴展的存儲解決方案,以滿足海量數據存儲與分析對容量及速度的嚴苛需求;另外,大數據存儲必須具備數據零裝載能力,最大化降低海量數據遷移的需要,以此規(guī)避由于數據遷移帶來的巨大時間和成本損耗,大幅減少數據的管理和使用復雜度。英特爾認為,橫向可擴展的、且能同時兼顧存儲和計算雙重功能的設備正是全方位滿足上述需求的理想之選。它們既易于擴展,以響應大數據前所未有的數據增長速度,又能對數據進行存儲的同時進行有效的管理和高速的處理和分析,從而讓大數據更快轉化為有價值的信息,以降低大數據的應用成本。這種存儲即計算,計算即存儲,打破傳統(tǒng)服務器和存儲設備邊界,實現存儲和計算融合的趨勢已成為整個產業(yè)界的共識。基于英特爾智能化和高I/O帶寬的英特爾至強處理器,英特爾以太網和英特爾固態(tài)硬盤存儲系統(tǒng),有助于為華為的基礎創(chuàng)新,并提供高性能的大數據解決方案。
憑借在大數據存儲領域數年的技術積累,華為在業(yè)界率先提出了“全融合”的大數據存儲管理理念。其核心在于構建“以數據為中心”的大數據存儲解決方案,即聚焦大數據基礎架構,以分布式文件系統(tǒng)為基礎,疊加并行SQL引擎、企業(yè)級Hadoop等多種分析組件,進行存儲、分析、歸檔等功能All-in-one的融合,在單一存儲系統(tǒng)內實現“大數據全生命周期”管理,以此來消除存儲孤島,減低大數據遷移的必要性,減少設備之間互操作性可能帶來的諸多問題。同時,“全融合”還體現為多種存儲介質和設備的融合,基于華為存儲統(tǒng)一的硬件平臺、軟件平臺和操作系統(tǒng),打造跨存儲設備的融合存儲資源池,根據數據類型、冷熱程度以及對一致性的不同要求,實現數據在不同的存儲設備上自由流動和按需分布。
而英特爾在大數據方面的優(yōu)勢包括:英特爾處理器具有低功耗高性能以及豐富功能來實現分析與管理結構化和非結構化的存儲數據,幫助企業(yè)提高平臺效率及降低成本。隨著智能存儲功能要求提升,如重復數據刪除,數據分層,壓縮和擦除編碼能力,基于英特爾的解決方案將提供增強的用戶體驗,并啟用新的使用模式。
據悉,華為OceanStor 9000大數據存儲系統(tǒng)是華為與英特爾在大數據存儲領域合作的關鍵著力點。OceanStor 9000是華為大數據存儲解決方案的核心,它采用全對稱Scale-out架構,支持3~288節(jié)點的彈性無縫擴展,單一文件系統(tǒng)可擴容至40PB,系統(tǒng)性能也能隨著容量增長而線性增長。在2013年全球權威性能評估機構SPEC的性能測試中,華為OceanStor 9000僅用100個節(jié)點就達到了前所未有的500萬OPS,以領先業(yè)界其他產品性能3倍多的卓越表現成為存儲業(yè)界性能新的領導者。并且,OceanStor 9000創(chuàng)新的“全融合”技術架構,在share-nothing的基礎上實現了數據在同一系統(tǒng)內的存儲、歸檔、分析過程的全生命周期管理,“零裝載”的獨特優(yōu)勢能夠讓數據在多個業(yè)務系統(tǒng)間有效流動,免除跨設備數據裝載和遷移,數據使用效率提升高達80%。
目前華為和英特爾已經初步完成對OceanStor 9000的40PB、288節(jié)點項目的聯合驗證,即將發(fā)布階段驗證結果。在冷數據存儲方面,雙方正在聯合開發(fā)適用于冷數據存儲和視頻監(jiān)控方案中的低功耗、低成本高密存儲設備。同時,雙方將持續(xù)在高性能領域加強技術投入:借力英特爾在硅光電子技術領域中的突破,華為將驗證在下一代大數據平臺中利用該技術實現100GE的主機接口和系統(tǒng)高速互聯,這將大幅提升系統(tǒng)帶寬和降低系統(tǒng)延時;而在存儲加速領域,華為計劃使用英特爾 ISA-L指令集進行存儲算法優(yōu)化,預計優(yōu)化后指令處理效率提升100%,壓縮性能提升4倍。
面向未來,華為和英特爾將不斷深化在大數據存儲乃至整個IT基礎架構領域的創(chuàng)新協作,結合雙方技術與資源優(yōu)勢,為最終用戶打造更高應用價值的解決方案,助力用戶完美應對大數據所帶來的挑戰(zhàn)與機遇,充分挖掘數據價值,實現業(yè)務的轉型和升級。此外,雙方在前沿技術方面的協作也將促進行業(yè)發(fā)展,推動信息化的發(fā)展進程。