有研究表明:人類70%的活動都是有規(guī)律可循的。大數據,可以讓我們看到這種規(guī)律并預知未來,例如通過整理近期的氣象情況和衛(wèi)星云圖,我們能夠判斷未來幾天的天氣狀況。去年,央視兩次攜手百度分別打造“據說春運”與“據說春節(jié)”特別節(jié)目——“據說春運”攜手百度地圖,用大數據展現春節(jié)前后人口大遷徙的軌跡與特征;“據說春節(jié)”運用百度大數據來述說回娘家、恐婚族等春節(jié)長假期間的熱門話題?梢姡ㄟ^解讀數據可以發(fā)現有趣的現象、挖掘以往被忽視的規(guī)律,還可以對人類的行為進行預測。
事實上,數據分析的案例自古有之,在前幾年也有很多數據挖掘技術和應用的出現。但這些數據挖掘技術對數據的使用,都是先抽樣、萃取人們或系統認為有價值的數據,再分析、挖掘,而并不是使用全部數據。原因很簡單——信息的收集、存儲和信息分析的系統構建、維護成本過于巨大,所以人們總是習慣在信息收集的過程中,把有關聯的少部分精確數據留下。
以人們的日常購買行為為例,傳統超市會通過對“時間、產品銷售量/銷售額”這幾個指標的分析,判斷近期哪些貨品是熱銷產品,在短期更受用戶的歡迎,進而對熱銷貨品提供充足的貨源保障,把熱銷貨品放在超市最容易接觸的位置,提供某些促銷優(yōu)惠等等。
再看另一個來自美國的零售商塔吉特的案例,它使用大數據進行“懷孕趨勢分析”。通過對大量消費記錄的分析,塔吉特公司注意到,準媽媽很可能在懷孕第三個月的時候購買某種乳液,并陸續(xù)購買營養(yǎng)品(如鈣、鎂、鋅等)。塔吉特公司找到了幾十種關聯物,通過這些關聯關系,預判客戶是否懷孕以及預產期的大概日期。在客戶懷孕的不同階段,該公司會向客戶推銷相應的產品或優(yōu)惠券。
前兩個案例,分別是典型的“小數據”分析和“大數據”分析。大數據不僅是數據量大,同時數據種類多;不是數據的抽樣,而是數據的全集;不是與目標有因果關系的數據,而是所有有關聯的數據。與傳統的數據分析相比,大數據可以被用來開發(fā)新產品和新型服務,其價值越來越受到關注。
為什么在幾年前,沒有人收集和利用全部的數據,再進行大數據分析呢?除了成本上的考慮,還存在另一個問題:傳統上,人們是基于單一“業(yè)務”去構建系統,而不是基于“數據”去構建系統。例如,某超市要建設一個CRM系統,IT部門會基于“客戶管理”這個業(yè)務采購軟硬件,所有建設都圍繞“客戶管理”,很少考慮開放、兼容等特性;如果想再上一套“行為分析”系統,則圍繞“行為分析”這個業(yè)務去采購軟、硬件。當需要把兩個系統的數據進行統一分析時,由于兩套系統不兼容,需要中間件來轉接、編譯,因此兩套系統各自要進行二次開發(fā)以實現兼容,使得操作難度變高,造成有價值的“數據”被困在了“系統”這個孤島里。因此在規(guī)劃初期,就應充分考慮到數據的流動性、系統的兼容性,考慮到數據將會被各種系統多次使用的情況。
也許有人會說:這樣的系統規(guī)劃會非常復雜,構建成本太高,很難把系統的模型和方案想清楚。我們再來看看互聯網公司。大型互聯網公司這幾年在構建IT系統時,都會采用標準架構:如X86服務器、標準化的網絡協議、開源的數據庫、分布式存儲等等。因為只有這樣,才能夠通過統一的硬件和軟件平臺來承載各種各樣的業(yè)務。比如微信、QQ、游戲、視頻等業(yè)務都是承載在同一個平臺上,所有數據的流動在基礎設施這個維度里都是自由的。所以我們看到如騰訊、阿里巴巴等互聯網公司上線新業(yè)務的速度非?欤夷軌蚋鶕脩舾鞣N網絡行為,判斷互聯網用戶感興趣的“熱點”,在某項業(yè)務上再疊加新服務。這就是大數據的典型應用。
在構建了標準的硬件、軟件基礎設施之后,業(yè)務可以被逐步規(guī)劃,分階段上線,但是所有的業(yè)務架構、程序接口,都應按照標準基礎設施的統一要求進行設計開發(fā)。大數據本身是“業(yè)務”,需要建設者用更多的時間去摸索業(yè)務模型,在實踐中完善新技術,把現有的封閉的系統逐步改良為開放的標準化架構。
從IT的發(fā)展趨勢看,大數據時代是在云計算建設成熟之后到來的,大多數互聯網公司的建設歷程也遵循了這種規(guī)律。云計算將帶來標準、統一的IT架構,消除割裂和信息孤島,并且簡化大規(guī)模IT部署和運維的復雜程度,而這些都是大數據分析系統建設的前提。
杭州華三通信技術有限公司(以下簡稱華三通信)的云計算方案,就是要實現IT基礎設施的標準化、智能化,為大數據分析提供更加智能靈活的基礎設施平臺。例如統一的云管理平臺CSM,將所有IT資源拉通管理,并且把溝通過程流程化;X86服務器+虛擬化軟件CAS,屏蔽底層硬件服務器間的差異,使虛擬機應用可以在不同的物理服務器間飄移;SDN網絡虛擬化技術,使網絡真正成為資源池,由上層應用調用;VSAN分布式存儲,屏蔽了底層硬件存儲間的壁壘,存儲數據可以分布在不同的物理服務器的硬盤上。
身處大數據時代的前夕,伴隨著云計算建設的浪潮,我們已經清晰地看到云計算和大數據的價值,也在期待它們?yōu)槲覀儙砀嗟母淖,更多的驚喜。
關于華三
杭州華三通信技術有限公司,致力于IT基礎架構產品及方案的研究、開發(fā)、生產、銷售及服務,擁有完備的路由器、以太網交換機、無線、網絡安全、服務器、存儲、IT管理系統、云管理平臺等產品。