|
說起大數(shù)據(jù)，估計大家都覺得只聽過概念，但是具體是什么東西，怎么定義，沒有一個標(biāo)準(zhǔn)的東西，因為在我們的印象中好像很多公司都叫大數(shù)據(jù)公司，業(yè)務(wù)形態(tài)則有幾百種，感覺不是很好理解，所以我建議還是從字面上來理解大數(shù)據(jù)，在維克托邁爾-舍恩伯格及肯尼斯庫克耶編寫的《大數(shù)據(jù)時代》提到了大數(shù)據(jù)的4個特征： 1.大量 大數(shù)據(jù)的特征首先就體現(xiàn)為“大”，從先Map3時代，一個小小的MB級別的Map3就可以滿足很多人的需求，然而隨著時間的推移，存儲單位從過去的GB到TB，乃至現(xiàn)在的PB、EB級別。只有數(shù)據(jù)體量達(dá)到了PB級別以上，才能被稱為大數(shù)據(jù)。1PB等于1024TB，1TB等于1024G，那么1PB等于1024*1024個G的數(shù)據(jù)。隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)開始爆發(fā)性增長。社交網(wǎng)絡(luò)(微博、推特、臉書)、移動網(wǎng)絡(luò)、各種智能工具，服務(wù)工具等，都成為數(shù)據(jù)的來源。淘寶網(wǎng)近4億的會員每天產(chǎn)生的商品交易數(shù)據(jù)約20TB;臉書約10億的用戶每天產(chǎn)生的日志數(shù)據(jù)超過300TB。迫切需要智能的算法、強大的數(shù)據(jù)處理平臺和新的數(shù)據(jù)處理技術(shù)，來統(tǒng)計、分析、預(yù)測和實時處理如此大規(guī)模的數(shù)據(jù)。 2.高速 就是通過算法對數(shù)據(jù)的邏輯處理速度非常快，1秒定律，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息，這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。大數(shù)據(jù)的產(chǎn)生非常迅速，主要通過互聯(lián)網(wǎng)傳輸。生活中每個人都離不開互聯(lián)網(wǎng)，也就是說每天個人每天都在向大數(shù)據(jù)提供大量的資料。并且這些數(shù)據(jù)是需要及時處理的，因為花費大量資本去存儲作用較小的歷史數(shù)據(jù)是非常不劃算的，對于一個平臺而言，也許保存的數(shù)據(jù)只有過去幾天或者一個月之內(nèi)，再遠(yuǎn)的數(shù)據(jù)就要及時清理，不然代價太大。基于這種情況，大數(shù)據(jù)對處理速度有非常嚴(yán)格的要求，服務(wù)器中大量的資源都用于處理和計算數(shù)據(jù)，很多平臺都需要做到實時分析。數(shù)據(jù)無時無刻不在產(chǎn)生，誰的速度更快，誰就有優(yōu)勢。 3.多樣 如果只有單一的數(shù)據(jù)，那么這些數(shù)據(jù)就沒有了價值，比如只有單一的個人數(shù)據(jù)，或者單一的用戶提交數(shù)據(jù)，這些數(shù)據(jù)還不能稱為大數(shù)據(jù)。廣泛的數(shù)據(jù)來源，決定了大數(shù)據(jù)形式的多樣性。比如當(dāng)前的上網(wǎng)用戶中，年齡，學(xué)歷，愛好，性格等等每個人的特征都不一樣，這個也就是大數(shù)據(jù)的多樣性，當(dāng)然了如果擴展到全國，那么數(shù)據(jù)的多樣性會更強，每個地區(qū)，每個時間段，都會存在各種各樣的數(shù)據(jù)多樣性。任何形式的數(shù)據(jù)都可以產(chǎn)生作用，目前應(yīng)用最廣泛的就是推薦系統(tǒng)，如淘寶，網(wǎng)易云音樂、今日頭條等，這些平臺都會通過對用戶的日志數(shù)據(jù)進(jìn)行分析，從而進(jìn)一步推薦用戶喜歡的東西。日志數(shù)據(jù)是結(jié)構(gòu)化明顯的數(shù)據(jù)，還有一些數(shù)據(jù)結(jié)構(gòu)化不明顯，例如圖片、音頻、視頻等，這些數(shù)據(jù)因果關(guān)系弱，就需要人工對其進(jìn)行標(biāo)注。 4.價值 這也是大數(shù)據(jù)的核心特征。據(jù)羿戓產(chǎn)品設(shè)計所了解，現(xiàn)實世界所產(chǎn)生的數(shù)據(jù)中，有價值的數(shù)據(jù)所占比例很小。相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價值在于通過從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出對未來趨勢與模式預(yù)測分析有價值的數(shù)據(jù)，并通過機器學(xué)習(xí)方法、人工智能方法或數(shù)據(jù)挖掘方法深度分析，發(fā)現(xiàn)新規(guī)律和新知識。你如果有1PB以上的全國所有20-35年輕人的上網(wǎng)數(shù)據(jù)的時候，那么它自然就有了商業(yè)價值，比如通過分析這些數(shù)據(jù)，我們就知道這些人的愛好，進(jìn)而指導(dǎo)產(chǎn)品的發(fā)展方向等等。如果有了全國幾百萬病人的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)進(jìn)行分析就能預(yù)測疾病的發(fā)生，這些都是大數(shù)據(jù)的價值。大數(shù)據(jù)運用之廣泛，如運用于農(nóng)業(yè)、金融、醫(yī)療等各個領(lǐng)域，從而最終達(dá)到改善社會治理、提高生產(chǎn)效率、推進(jìn)科學(xué)研究的效果。 大數(shù)據(jù)已經(jīng)成為過去幾年中大部分行業(yè)的游戲規(guī)則，行業(yè)領(lǐng)袖，學(xué)者和其他知名的利益相關(guān)者都同意這一點，隨著大數(shù)據(jù)繼續(xù)滲透到我們的日常生活中，圍繞大數(shù)據(jù)的炒作正在轉(zhuǎn)向?qū)嶋H使用中的真正價值。 
|
