|
作者：郭華 先想象這樣一個場景—— 你家有個天臺，上面什么都沒有。 你一筐筐的把土背上去，鋪了一小塊地，然后又挑水施肥，種了幾壟黃瓜、幾棵西紅柿和一小簇青菜。 你照顧的很用心，他們長勢也很不錯，紅紅綠綠，晨曦中沾滿露水，散發(fā)出泥土的氣息。 然后等到秋天，你興沖沖跑上天臺，結(jié)果門一開，噗的驚飛一片麻雀，噗噗啦啦之后只見黃瓜斷了，西紅柿也滿是洞，他們綠的紅的汁，滴在被爪子踩的不成樣子的青菜里，一片狼藉。 而且這還是個溫暖又明媚的午后。 于是你聞著別處的稻香，在金黃的秋風(fēng)里，感到一陣凄涼。 ——這時你再看Cloudera的故事，大概才能感同身受。 01 被仰望的 Cloudera的故事要從Hadoop開始說，而說Hadoop就離不開Doug Cutting。 Doug Cutting現(xiàn)在是Apache基金會的主席，標(biāo)準(zhǔn)的大神。在我心目中，他和谷歌AI負責(zé)人Jeff Dean、Linux之父Linus并稱三大天王，高山仰止，令我自慚形穢，最終放棄編程。 2004年，Doug Cutting正在搗鼓Nutch，Nutch是一個開源搜索引擎，關(guān)于它和Lucene的故事又是一個傳奇，可以再開一篇單獨講。總之，Doug Cutting碰到了一些大規(guī)模索引和分布式計算的問題，恰好這時看到谷歌發(fā)表的兩篇論文里有相似場景及解決方案。仔細研究之后，他覺得非常有道理，于是很快就把論文里的技術(shù)實現(xiàn)了，包括一個分布式計算框架MapReduce和一個分布式存儲系統(tǒng)HDFS，然后放進了自己的Nutch里。 2006年，Doug Cutting預(yù)感到這種數(shù)據(jù)處理技術(shù)有著更大的潛力，便把MapReduce和HDFS從Nutch中獨立出來，合成一個后開源了，取名為Hadoop。那會他兒子剛好兩歲，不大會講話，總管自己的玩具象叫Hadopp，Doug Cutting靈機一動，便把這個名字拿了過來。 同年，為了進一步發(fā)展Hadoop，Doug Cutting決定加入互聯(lián)網(wǎng)公司里最大的雅虎。 大概他也沒想到，大數(shù)據(jù)時代的序幕就這樣被拉開了。 在雅虎，Hadoop的集群規(guī)模很快過千，Doug Cutting也認識了雅虎副總裁Amr Awadallah。 為了對抗日漸崛起的谷歌，Amr當(dāng)時正在研究如何讓雅虎搜索更智能，也碰到很多性能、成本與彈性的問題。在Doug Cutting的建議下，他開始嘗試Hadoop。在隨后的兩年里，Amr基于Hadoop改造了之前的數(shù)據(jù)處理系統(tǒng)，結(jié)果可以說是驚人的好——完成相同的工作，新系統(tǒng)成本不過是之前的十分一，更重要的，他們還能做之前根本無法想象的事情，比如全量分析以PB記的數(shù)據(jù)。 這讓Amr大為驚喜，他進一步想，這些問題應(yīng)該不止雅虎會碰到，Hadoop這種革命性的數(shù)據(jù)處理能力里蘊含著巨大商機。于是他萌生了一種想法，創(chuàng)業(yè)。這并不是Amr的第一次創(chuàng)業(yè)，實際上他在很早之前就創(chuàng)立了一家叫做VivaSmart的公司，然后2000年公司被雅虎收購，他才隨之加入雅虎。 Amr召集起幾個志同道合的人，包括兩位分別來自谷歌和Facebook的工程師和一位來自O(shè)racle的經(jīng)理人Mike Olson，很快在硅谷成立了一家公司，自己擔(dān)任CTO。 公司的名字叫Cloudera，CEO是Mike Olson。 Mike Olson何許人也？其實他和Amr一樣，也是自己的公司被收購后加入大公司的。在Oracle之前，他曾是Sleepycat的CEO，而在Sleepycat之前，他又參與過IIIustra的創(chuàng)業(yè)。這兩家都是在開源軟件上創(chuàng)業(yè)的商業(yè)公司，Sleepycat基于Berkeley DB，IIIustra基于PostgreSQL。這幾乎和他們要做的Cloudera一模一樣。 那時是2008年，Hadoop正以燎原之勢蔓延，不僅席卷了硅谷，也燃燒到了大洋彼岸的淘寶和百度等，于是很快就成了Apache的頂級項目。 一年后，Doug Cutting加入Cloudera，職位是首席架構(gòu)師，而作為Hadoop的創(chuàng)始人，他也很快被選為Apache基金會主席。 天時、地利、人和，獨角獸的羽翼鼓漲滿滿，只等風(fēng)來。 2009年，Cloudera拿到了500萬美金的第一筆投資，2011年，拿到了4000萬美金的第二筆，三年之后，它又拿到了高達9億美金的第三筆。 如果那時你搜索Hadoop is，輸入欄會自動補齊 future。 我記得那時我大學(xué)快畢業(yè)。有次看到班里一個同學(xué)正坐在電腦前賤兮兮的笑，我問他在干啥，他說在改簡歷，我更加好奇便湊了過去，只見他正把一段網(wǎng)上復(fù)制的內(nèi)容貼到“技能“那一欄里去。我不解，他咔咔使勁按了幾下Control+S后嘻嘻道，現(xiàn)在流行云計算，只要描述里出現(xiàn)Hadoop，肯定能過簡歷關(guān)。 而且經(jīng)過實踐，這是真的。Hadoop受歡迎的夸張程度，可見一斑。 另外，估計那會大家都分不清什么是云計算哪個是大數(shù)據(jù)，不僅我分不清，你看阿里云早期的飛天系統(tǒng)，其實也是一個大數(shù)據(jù)處理工具，而且可能Cloudera也分不清，不然怎么他一個搞Hadoop的公司，起名叫Cloudera呢？ 這邊Hadoop野蠻生長，那邊Cloudera合縱連橫，先是和Oracle達成戰(zhàn)略合作，接著戴爾、Intel、埃森哲、德勤、MasterCard、SAP、TeraData、微軟等也紛紛入局。 所有人都關(guān)注著它，生怕錯過什么。 2013年的時候，Mike Olson信心十足的寫下了《The Cloudera Model》一文，表示Cloudera已經(jīng)找到了Hadoop上成功的商業(yè)模式。 那時的Cloudera，可以說是大數(shù)據(jù)領(lǐng)域最耀眼的星。2015年華爾街日報做了一個獨角獸排名，它是唯一上榜的大數(shù)據(jù)公司，排名21，比大眾點評還高。 2017年，Cloudera成功上市。 02 被遺忘的 隨著時間發(fā)展，Hadoop的概念逐漸泛化。一開始只有HDFS和Mapreduce，然后是一個以HDFS和YARN為基礎(chǔ)的平臺，再之后是一個包含Spark、Hive、Hbase等幾十個項目和子項目的生態(tài)，最后，甚至又帶上了以Hadoop為基礎(chǔ)的商業(yè)公司，如Cloudera、Hortonworks、MapR等。 這種泛化有個壞處，那就是一旦出現(xiàn)負面新聞，大家往往分不清該怪誰。 比如作為一種技術(shù)，Hadoop肯定有其時效性。就像Mapreduce，雖然計算能力強大，但一切都是先Map再Reduce的抽象程度實在太粗魯，以至于理念上很快就被Spark、Flink等這種更先進的技術(shù)打敗了。與之相似的，還有HDFS和YARN，從技術(shù)上說，前者不如云存儲方便，后者不如K8S靈活，都有被取代的風(fēng)險。 于是有人便開始宣稱Hadoop已死，然后又說，因為Hadoop已死，Cloudera也不行了。典型的用狹義概念做總結(jié)，用廣義概念做推導(dǎo)，就像偶爾看到汽車超過了一輛綠皮車，就立馬得出鐵路運輸已死，公路運輸是未來一樣。 然而這種暴力論斷卻非常有市場。 尤其是2019年，這年Hadoop三個主要的獨立供應(yīng)商過的都不大好。MapR裁員，苦尋幾個月金主后賣給了HPE。Cloudera合并了Hortonworks，合并后Q1財報略不及預(yù)期，然后股價暴跌，CEO離職。往日的Hadoop三巨頭，似乎已是英雄末路。 這時不少人紛紛站了出來，用Mapreduce的問題論斷Cloudera，表示它將不出所料的要玩完。 如果這時你搜索Hadoop is，輸入欄會自動補齊 dead。 于是一個魔幻的現(xiàn)象出現(xiàn)了，一邊是Hadoop已死，獨立供應(yīng)商要完，一邊各大云廠商卻在拿Hadoop瘋狂賺錢。據(jù)分析師測算，2018年單AWS的EMR就產(chǎn)生了2.5億美金的營收，而該產(chǎn)品介紹就是“Hosted Hadoop framework“。而這并不是孤例，除AWS的EMR外，谷歌云有Dataproc，Azure有HDInsight，阿里云有E-MapReduce，云計算四巨頭，全都把托管Hadoop放到了自己大數(shù)據(jù)產(chǎn)品的首頁，這顯然不是已死的技術(shù)該享受的待遇。 Cloudera的心情，大概就像開頭說的種一年菜最后都被鳥收割了一樣。 它當(dāng)然解釋過，但沒什么效果。另外其實它很早就開始淡化自己是Hadoop供應(yīng)商的概念了，比如和O'Reilly合辦的Strata大會，以前叫Strata+Hadoop，2017年之后便把Hadoop字眼拿掉，改叫了Strata Data Conference。 只不過這一切幾乎沒有人聽，就像自己已經(jīng)被大家遺忘掉一樣。 當(dāng)然，Cloudera無論如何肯定面臨著一些問題，而且遠比技術(shù)問題復(fù)雜。 在合并之前，Cloudera和Hortonworks有各自不同的產(chǎn)品線，有各自不同的思路，Cloudera主打開源引擎加商業(yè)周邊，Hortonworks主打全開源。所以合并后的第一個問題便是產(chǎn)品線怎么整合，原有客戶怎么遷移。它Q1的財報里提到不少客戶推遲了續(xù)費，主要就是這個原因，大家都在等。 但這個問題最多只算近憂，Cloudera真正的遠慮，則是前面提到的公共云廠商。 云在吞噬一切，包括大數(shù)據(jù)，它們不止有托管的Hadoop，還有自研的替代產(chǎn)品。所以邏輯會變成這樣，它們會用托管Hadoop鯨吞開源市場，然后用自研替代品蠶食Hadoop。比如AWS里的Redshift，從場景上基本可以看成是Hadoop+Hive的替代方案，但2018年營收約4億美金，遠超Cloudera。而且這個邏輯對所有開源廠商都成立，幾乎成了開源軟件的公地悲劇。2018年，在怒斥云廠商為吸血鬼而收效甚微之后，Redis和Mongo兩家公司直接修改了開源協(xié)議，不再允許云廠商提供托管服務(wù)。 不過Hadoop用的是Apache協(xié)議，修改起來比較困難。但針對近憂遠慮，Cloudera也給出了自己的答案。 那就是CDP。 03 王者歸來 CDP，全稱Cloudera Data Platform，是Cloudera和Hortonworks合并后的統(tǒng)一產(chǎn)品線，做了諸多技術(shù)升級，更重要的是其部署形態(tài)發(fā)生了根本性改變——CDP是基于云的，而且是混合云。 有人戲稱，Cloudera終于迎來了Cloud Era。 并且，Cloudera還宣布2022年后停止對原來兩條老產(chǎn)品線的支持，全統(tǒng)一到CDP上。很顯然，這種大刀闊斧的革新，表明Cloudera孤注一擲想借CDP王者歸來。它說CDP是一種新的數(shù)據(jù)方法，是世界上第一個企業(yè)數(shù)據(jù)云產(chǎn)品，對應(yīng)的市場規(guī)模高達260億美金，并將在三年后翻倍。 能行嗎？ 我們一層一層來看。 技術(shù)上，首先被大家詬病已久的Mapreduce在Cloudera的產(chǎn)品里早有了很多替代品，比如Spark和Flink；其次，CDP整合了云存儲，這意味著HDFS的爭議也能得到解決；最后，CDP在調(diào)度上對接了K8S，先不說可能性很小，哪怕最后K8S完全替換了YARN，CDP也能做到幾乎不受影響。 所以技術(shù)層面，按照Cloudera CPO的說法，這叫“Hadoop已死，Hadoop萬歲“。Hadoop里幾十個項目，是一個生態(tài)，甚至一種哲學(xué)，早就超越了十幾年前Mapreduce的范疇，正波浪式的向前蓬勃發(fā)展。 商業(yè)上，Cloudera一方面在2019年7月宣布所有代碼全部開源，向紅帽的商業(yè)模式靠攏。另一方面又在部署形態(tài)上做了大幅調(diào)整，改成了混合云。 這又可以分兩層來說。 先說第一層，為什么要學(xué)習(xí)紅帽。 實際上業(yè)界一直有一種說法，那就是開源軟件的商業(yè)公司里，真正稱得上成功的只有一家，那就是紅帽。紅帽自Linux起家，營收一度高達30多億美金，而且長期盈利，直到2019年以340億美金的天價賣給了IBM。 所以Cloudera學(xué)習(xí)紅帽的商業(yè)模式很容易理解，而且紅帽商業(yè)模式里的三個要點，Cloudera也基本都能滿足。 • 深度參與開源社區(qū)——Cloudera有一百多位Apache committer，在大數(shù)據(jù)方面的技術(shù)實力無可爭議。 • 代碼全部開源，社區(qū)版激進，企業(yè)版穩(wěn)定——全部開源是Cloudera發(fā)表的《我們對開源的承諾》一文的主要內(nèi)容。 • 靠企業(yè)版訂閱產(chǎn)生營收，并提供咨詢、支持等服務(wù)——CDP，也包括CDH和HDP。 紅帽基于Linux，Linux和Hadoop都是基礎(chǔ)軟件。雖然層次不同，但按照紅帽CEO的說法，他們的商業(yè)模式比較適合于“復(fù)雜、流行、社區(qū)驅(qū)動的基礎(chǔ)軟件上“。而大家對Hadoop最大的指責(zé)就是太復(fù)雜，所以，沒準(zhǔn)這種復(fù)雜性恰好有其商業(yè)價值，畢竟太簡單的也沒必要找個商業(yè)公司來兜底。 然而，學(xué)習(xí)紅帽是否就夠了呢？ 紅帽成立于1993年，那會可沒有云計算的威脅。 這就說到了商業(yè)上的第二層，也就是CDP所指的混合云。 云在吞噬一切，只不過這種吞噬是從互聯(lián)網(wǎng)創(chuàng)業(yè)的增量市場開始的，但隨著網(wǎng)絡(luò)應(yīng)用的逐漸飽和，這部分市場越來越小，于是云巨頭不得不把眼光放到傳統(tǒng)IT的存量市場中去。但這些企業(yè)跟要么增長要么死亡的互聯(lián)網(wǎng)創(chuàng)業(yè)公司不同，他們更關(guān)心穩(wěn)定性、更關(guān)心數(shù)據(jù)安全，他們有自己的機房，拒絕被云廠商鎖定。 于是混合云應(yīng)運而生。 所謂混合云，就是搭建在自建機房和不同云廠商資源之上的云平臺，這種情況下，不管是自建機房還是云廠商，提供的僅僅是底層計算資源，可以根據(jù)使用者的意愿隨便切換，就像水和電一樣，即插即用。 嗯，至少理論上是這樣。 但實際上混合云市場還處在混戰(zhàn)之中，參戰(zhàn)者至少有三類：一類是公共云廠商，如AWS的Outposts、Azure的Azure Stack和谷歌的Anthos等，他們的混合云往往為了線下資源，終點在云，不在混合；另一類是獨立混合云供應(yīng)商，如紅帽的Openshift，他們試圖在各大公共云廠商基礎(chǔ)上搭建一個通用混合云平臺，終點在混合，不在云；還有一類，就是各開源應(yīng)用廠商自己搭建的混合云，如Confluent的Confluent Cloud、Cloudera的CDP、Elastic的Elasticsearch Service等，他們的目標(biāo)也是混合，但更純粹，就是要反過來屏蔽云廠商提供的特定開源托管產(chǎn)品。 現(xiàn)在討論混合云的最終格局顯得有點太不自量力，我們不妨把問題稍微縮小一點，那就是在這種混合云的狀態(tài)下，Cloudera的混合“企業(yè)數(shù)據(jù)云“，是否能做成？ 先說市場，關(guān)于市場分析師有諸多測算，少的也有幾百億，但我們不妨說的簡單點——只要大家還要做大數(shù)據(jù)，Hadoop就一直有市場。實際上我至今都沒發(fā)現(xiàn)有誰在做大數(shù)據(jù)而不用Hadoop的。說Hadoop有問題，大家都承認，但說他要完，這可有點早。可見范圍之內(nèi)，它還看不到有威脅的整體競爭對手。 既然市場成立，那就看Cloudera的競爭對手情況了。 在MapR被收購并且Cloudera合并了Hortonworks之后，應(yīng)該沒必要再討論獨立供應(yīng)商里誰最強的問題了，因為答案是顯然的。 至于像Openshift這樣的獨立混合云，很像云計算版的聚合平臺，可能長期存在，但我不認為能做大，主要原因還是他們無法通過網(wǎng)絡(luò)效應(yīng)增強自己的競爭力，因為可選的供應(yīng)商太少。而且，他們瞄準(zhǔn)的是PaaS這層，即通過K8S屏蔽IaaS，所謀甚大，志不在Hadoop。 所以Cloudera的競爭對手只有公共云廠商。 不過這并不好對比，從技術(shù)先進性上來說，Cloudera顯然有優(yōu)勢，如果客戶對產(chǎn)品有更高要求，那選CDP的可能性要大一些，但從產(chǎn)品模式和市場策略來說，云廠商以IaaS高頻打低頻，在搞定了客戶的基礎(chǔ)資源之后，再給客戶推一個大數(shù)據(jù)平臺，也算順理成章。 于是似乎只能草草得出一個要看情況的結(jié)論。 但我們不妨跳出來再看一下。 毛爺爺曾寫過一篇文章《中國的紅色政權(quán)為什么能夠存在？》，里邊這樣說道：“我們只須知道中國白色政權(quán)的分裂和戰(zhàn)爭是繼續(xù)不斷的，則紅色政權(quán)的發(fā)生、存在并且日益發(fā)展，便是無疑的了。“ 那時中國處于國民黨的統(tǒng)治之下，并且共產(chǎn)黨剛剛遭受了重大打擊，很多人開始產(chǎn)生悲觀情緒。但毛爺爺指出，國民黨的統(tǒng)治貌合神離，蔣桂馮閻四大軍閥的背后是不同的帝國主義訴求，他們之間的斗爭是不可調(diào)和的。所以在他們的斗爭之間，紅色政權(quán)便能產(chǎn)生和發(fā)展。 我發(fā)現(xiàn)這段精彩論述，完全可以套用在CDP要做的混合云身上。 • 公共云廠商之間互相斗爭，只要世界上不止有一個云廠商，那被鎖定的擔(dān)憂就一直存在，混合云的需求也就一直存在。又因為這種擔(dān)憂是針對云廠商的，所以云廠商提供的混合云天生說服力不足。 • CDP的數(shù)據(jù)混合云是一種“地方經(jīng)濟“，可以脫離統(tǒng)一的“大資本主義經(jīng)濟“而獨立存在。即限定到大數(shù)據(jù)領(lǐng)域，客戶可以只用CDP而不必依賴特定云廠商的某些特定功能。 • CDP的混合云將會先誕生于經(jīng)過“民主革命“訓(xùn)練的地方。也就是說，那些曾經(jīng)習(xí)慣使用Cloudera產(chǎn)品的用戶，將會率先遷移到CDP的混合云上來，而Cloudera長期以來的客戶都集中在財富2000里，大多是傳統(tǒng)客戶，正是云計算10%滲透率以外的地方。是的，云計算高歌猛進了這么多年，滲透率依然只有10%。 • CDP這種混合云的誕生和長期發(fā)展，需要一支相當(dāng)力量的“正式武裝“。在開源混合云的場景下，這支“正式武裝“可以理解為商業(yè)公司，言下之意是純社區(qū)建立的混合云無法長期存在。所幸，目前開源應(yīng)用混合云都是由商業(yè)公司建立的，不管是Confluent、Elastic，還是Cloudera，均不例外。而且，Cloudera這支武裝相當(dāng)有力量，100多名Apache Committer，3000多名員工，看似和云巨頭動輒幾萬人的規(guī)模差距很大，但限定到大數(shù)據(jù)領(lǐng)域，恐怕很少有公司能達到這個規(guī)模和質(zhì)量。 所以，CDP這種企業(yè)數(shù)據(jù)混合云的長期存在和發(fā)展，“便是無疑的了“。 但要問在這種情況下Cloudera是否真的能王者歸來，我無法下斷言。 至于原因，不妨引用一下著名史學(xué)家史華茲的觀點：否認客觀環(huán)境先驗的重要性是絕對愚蠢的行為，但我的確反對那種主張“形勢“自動引起結(jié)果的萬物有靈論，任務(wù)完成與否，不僅取決于所用的方法和客觀環(huán)境，也取決于承擔(dān)任務(wù)的那些人的思想、意圖和抱負。 所以我能做的，只有拭目以待。 |
