隨著像谷歌和Facebook這樣的互聯(lián)網(wǎng)巨頭需要處理的數(shù)據(jù)越來越龐大,傳統(tǒng)的電子網(wǎng)絡(luò)設(shè)備已感到力不從心,難以應(yīng)付了。于是,我們需要使用全新的光纖網(wǎng)絡(luò)設(shè)備來解決這個(gè)問題。那么,谷歌和Facebook該如何采用光纖網(wǎng)絡(luò),使其數(shù)據(jù)傳輸速度躍升到光速呢?下面讓我們來一探究竟。 心,光纖網(wǎng)絡(luò)無疑就是問題的解決辦法。 傳統(tǒng)網(wǎng)絡(luò)設(shè)備已無法處理龐大數(shù)據(jù)流量 在2011年的一個(gè)清晨,全球最受歡迎的社交網(wǎng)絡(luò)Facebook的一名工程師按下了一個(gè)按鈕,結(jié)果讓該公司的整個(gè)業(yè)務(wù)陷入癱瘓。 這個(gè)不知姓甚名誰的工程師本不該犯錯(cuò)的。他原本只是想運(yùn)行這個(gè)社交網(wǎng)絡(luò)巨頭一直在運(yùn)行的某項(xiàng)軟件任務(wù)。他運(yùn)行了分布式數(shù)據(jù)分析平臺(tái)Hadoop。結(jié)果,F(xiàn)acebook開始分析數(shù)億個(gè)用戶產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)儲(chǔ)存在該公司多個(gè)數(shù)據(jù)中心的上萬臺(tái)服務(wù)器上。當(dāng)你分析這些數(shù)據(jù)時(shí),所有那些服務(wù)器之間就必須開始相互對話。 據(jù)Facebook員工多恩-李(Donn Lee)在去年春季的一次會(huì)議上回憶該事故時(shí)稱,一次Hadoop任務(wù)就讓該公司的電腦網(wǎng)絡(luò)感到不堪重負(fù),并導(dǎo)致其他的業(yè)務(wù)幾乎處于停滯狀態(tài)!拔仪宄赜浀媚莻(gè)早晨!崩钫f,“它讓Facebook陷入了癱瘓,非常嚴(yán)重的癱瘓! 李當(dāng)時(shí)是Facebook的網(wǎng)絡(luò)工程師,他試圖說明電腦網(wǎng)絡(luò)在近些年的變化。在過去,大多數(shù)網(wǎng)絡(luò)數(shù)據(jù)流量在服務(wù)器和試圖訪問網(wǎng)頁的互聯(lián)網(wǎng)用戶之間來回傳輸。但是現(xiàn)在,隨著像Facebook、谷歌和亞馬遜這樣越來越龐大和復(fù)雜的業(yè)務(wù)出現(xiàn),數(shù)據(jù)中心內(nèi)部和服務(wù)器之間的數(shù)據(jù)流量增加了,這些網(wǎng)絡(luò)巨頭使用的傳統(tǒng)網(wǎng)絡(luò)設(shè)備已無法處理這么多的流量。 因此,網(wǎng)絡(luò)正在發(fā)生與時(shí)俱進(jìn)的變化。像Facebook和谷歌這樣的公司正在打造更高速的網(wǎng)絡(luò)硬件,他們正在重新修改其網(wǎng)絡(luò)的拓?fù),以適應(yīng)服務(wù)器之間傳輸?shù)某罅髁俊5,這樣的改進(jìn)措施作用并不明顯。像多恩-李這樣的網(wǎng)絡(luò)專家也開始考慮在數(shù)據(jù)中心配置全新的網(wǎng)絡(luò)設(shè)備——可用光束傳播數(shù)據(jù)的設(shè)備。 電子和光纖網(wǎng)絡(luò)并駕齊驅(qū) 是的,某些互聯(lián)網(wǎng)數(shù)據(jù)已開始以光的形式來進(jìn)行傳輸了。這就是光纖網(wǎng)絡(luò)。標(biāo)準(zhǔn)的電子信號(hào)被轉(zhuǎn)換成了光子,并沿著玻璃光纖電纜進(jìn)行傳輸。但是,在通常情況下,這種數(shù)據(jù)傳輸方式通常發(fā)生在數(shù)據(jù)中心之間,而很少發(fā)生在數(shù)據(jù)中心內(nèi)部。下一步就是緊盯著光纖來重新打造數(shù)據(jù)中心網(wǎng)絡(luò),讓傳統(tǒng)的電子網(wǎng)絡(luò)交換機(jī)與可極大加快服務(wù)器之間數(shù)據(jù)傳輸速度的光纖交換機(jī)并駕齊驅(qū)。 “如果我們能夠做到這一點(diǎn),這種混合型的網(wǎng)絡(luò)——可適應(yīng)更多數(shù)據(jù)流量的大規(guī)模網(wǎng)絡(luò)——就非常具有吸引力。”美國加利福尼亞大學(xué)神迭戈分校的光線網(wǎng)絡(luò)研究員喬治-帕彭(George Papen)說,“我們現(xiàn)在還沒有達(dá)到這一步,但是我們比以前更接近了。” 帕彭所在的該校區(qū)的研發(fā)團(tuán)隊(duì)已開發(fā)出了這樣的混合型網(wǎng)絡(luò),該網(wǎng)絡(luò)目前尚處于測試階段,可演示光纖交換機(jī)的工作原理。他們的這個(gè)研究項(xiàng)目,通常被稱為 Helios,是由谷歌和其他技術(shù)巨頭資助的。該項(xiàng)目的主要研究員之一亞敏-法達(dá)特(Amin Vahdat)目前在谷歌任職,他在谷歌也在積極地探索類似的研究課題;該團(tuán)隊(duì)的另一名成員內(nèi)森-法靈頓(Nathan Farrington),已加入了Facebook的團(tuán)隊(duì)。 據(jù)帕彭稱,Helios項(xiàng)目要完全得以實(shí)現(xiàn)還有很長的路要走。但是,在美國馬薩諸塞州劍橋,一家名為Plexxi的創(chuàng)業(yè)公司最近推出了一款光纖網(wǎng)絡(luò)交換機(jī),旨在重新打造數(shù)據(jù)中心。雖然這項(xiàng)技術(shù)完全不同于Helios,但是它們具有相同的基本目標(biāo)。 “光子交換的功能非常強(qiáng)大。一旦你的業(yè)務(wù)涉足光纖交換領(lǐng)域,而不是電子交換領(lǐng)域,你就會(huì)擁有內(nèi)在的性能上的優(yōu)勢。”Plexxi公司CEO大衛(wèi)-胡薩克(Dave Husak)說,“我們都致力于達(dá)到那樣的效果! 未來的Helios項(xiàng)目 如果谷歌讓亞敏-法達(dá)特來重新打造它的數(shù)據(jù)中心,那么這將是一件很有意義的事情。法達(dá)特以前就做過類似的事情。 從傳統(tǒng)上來說,網(wǎng)絡(luò)是分層級(jí)的。如果你將服務(wù)器歸為一個(gè)層級(jí),那么在這個(gè)層級(jí)之上的就是網(wǎng)絡(luò)交換機(jī),你需要將這些服務(wù)器與網(wǎng)絡(luò)交換機(jī)連接。然后,你將這些 “高一層級(jí)的交換機(jī)”與更高層次的高速網(wǎng)絡(luò)設(shè)備連接;再接下來,你將這二層次的網(wǎng)絡(luò)設(shè)備與第三個(gè)更高層次的網(wǎng)絡(luò)設(shè)備連接。當(dāng)你到達(dá)網(wǎng)絡(luò)核心時(shí),你運(yùn)行的非常昂貴的網(wǎng)絡(luò)硬件速度遠(yuǎn)遠(yuǎn)超過了服務(wù)器層級(jí)上的交換機(jī)。 你需要這種更快的速度來適應(yīng)所有來自于網(wǎng)絡(luò)的流量——這或許是我們以前的看法。法達(dá)特及其同事證明,這種層級(jí)結(jié)構(gòu)是錯(cuò)誤的。如果你使用速度一般的、更廉價(jià)的網(wǎng)絡(luò)設(shè)備,你就可能更高效地運(yùn)行你的網(wǎng)絡(luò)。 “這是一個(gè)革命!迸僚碚f,“在此之前,人們就像建造電信網(wǎng)絡(luò)那樣來打造他們的數(shù)據(jù)中心。但是,法達(dá)特的研究團(tuán)隊(duì)意識(shí)到這樣做難以節(jié)省成本,他們證明了你可以用完全不同的方式來打造數(shù)據(jù)中心! 這種統(tǒng)一的網(wǎng)絡(luò)架構(gòu)被稱為“胖樹”(fat tree)架構(gòu)設(shè)計(jì)。它現(xiàn)在已成為大型網(wǎng)絡(luò)業(yè)務(wù)的普遍形式。這就是為什么像谷歌這樣的公司已開始放棄思科等公司的昂貴設(shè)備,轉(zhuǎn)而從亞洲制造公司那里購買低成本的硬件。但是,Helios項(xiàng)目(法達(dá)特也有份參與),致力于創(chuàng)造更大的變化。 基本的思想就是建造一半電子一半光纖的混合型網(wǎng)絡(luò)。這種網(wǎng)絡(luò)既能夠像現(xiàn)有的電子網(wǎng)絡(luò)一樣運(yùn)行,以電子的形式通過銅線和硅來傳輸數(shù)據(jù),也能夠通過光纖交換機(jī)在不同服務(wù)器之間傳輸某些數(shù)據(jù)。 今天,一些網(wǎng)絡(luò)已開始使用光纖纜線在不同交換機(jī)之間或服務(wù)器與交換機(jī)之間傳輸數(shù)據(jù)。但是,一旦光子到達(dá)交換機(jī),它們就會(huì)被轉(zhuǎn)換成電子。在Helios項(xiàng)目中,基本的想法是打造一個(gè)真正的光纖網(wǎng)絡(luò),從而消除傳統(tǒng)電子網(wǎng)絡(luò)的負(fù)擔(dān)。 從某種意義上來說,這個(gè)項(xiàng)目將會(huì)回到未來。今天的網(wǎng)絡(luò)使用所謂的“封包交換”(packet-switching)來回傳輸數(shù)據(jù),在輸出數(shù)據(jù)前先將它們分解成更小的信息流。這就是互聯(lián)網(wǎng)的運(yùn)行方式。但是,Helios項(xiàng)目的光纖部分使用的是“電路交換”(circuit-switching),可在兩個(gè)端點(diǎn)之間建立專門的聯(lián)系。這就是老式手機(jī)網(wǎng)絡(luò)的運(yùn)行方式。 “只要看看數(shù)據(jù)中心的每個(gè)封包,你就會(huì)發(fā)現(xiàn)它并沒有高效地使用你的資源!迸僚碚f,“如果你能夠明白,哪怕是部分明白,數(shù)據(jù)流量的傳輸方向,你就不必查看每個(gè)封包的每個(gè)集管,你就能夠創(chuàng)造一個(gè)專門的電路來傳輸大量數(shù)據(jù),而不必讓其通過封包交換的網(wǎng)絡(luò)! 帕彭將此比喻為一個(gè)可解決洛杉磯交通擁堵的系統(tǒng)——只要在該城市擁堵的地方臨時(shí)搭建幾座橋梁即可。“你會(huì)根據(jù)需要放下這座橋梁,疏通堵塞地方的車流;然后,在未來某個(gè)時(shí)候,將這個(gè)橋梁移到交通堵塞的其他地方!彼f。 這種構(gòu)造非常具有吸引力,因?yàn)楣饫w電路交換網(wǎng)絡(luò)比傳統(tǒng)的設(shè)計(jì)更加靈活。傳統(tǒng)網(wǎng)絡(luò)交換機(jī)是為特定的數(shù)據(jù)傳輸速度設(shè)定的:每秒10G,40G,等等。但是,光纖交換機(jī)則不同。“電路是一個(gè)管道,它不在乎數(shù)據(jù)傳輸速度是多少。它是速度不可知論者。”他說,“你幾乎能夠在上面?zhèn)鬏斎魏嗡俣鹊臄?shù)據(jù)。這一點(diǎn)是非常具有吸引力的。” 雖然這種架構(gòu)要變成現(xiàn)實(shí)的數(shù)據(jù)中心還有很長的路要走,但是帕彭相信它最終將會(huì)實(shí)現(xiàn)!罢嬲募记墒桥靼S金分割點(diǎn)!彼f,“哪些流量需要在現(xiàn)有的網(wǎng)絡(luò)上傳輸,哪些數(shù)據(jù)需要轉(zhuǎn)到電路交換網(wǎng)絡(luò)上?”于是,這就出現(xiàn)了成本的問題。光學(xué)硬件比電子設(shè)備的成本更高,盡管它的成本正在下降。 法達(dá)特和谷歌的研究很可能已接近現(xiàn)實(shí),但是帕彭強(qiáng)調(diào)說,就連他自己也不知道谷歌將會(huì)怎么做!拔以诖笮蛿(shù)據(jù)中心有很多搞光纖的朋友,盡管如此,我仍然不知道他們準(zhǔn)備做什么!彼f。 就谷歌而言,它最重要的競爭優(yōu)勢就是其內(nèi)部架構(gòu)的設(shè)計(jì)。谷歌甚至對它資助的外部研究者也不愿透露這種設(shè)計(jì)。法達(dá)特并沒有對記者要求采訪的請求作出回應(yīng),谷歌的公關(guān)部門也拒絕討論該公司的光纖網(wǎng)絡(luò)研究。 但是,谷歌并不是唯一探索光纖交換未來的公司。這樣做的公司還有Facebook、思科、IBM和現(xiàn)在的Plexxi公司。 光纖網(wǎng)絡(luò)的前景 Helios 項(xiàng)目將整個(gè)網(wǎng)絡(luò)一分為二——其中的一半由電子交換機(jī)驅(qū)動(dòng),而另一半則是靠光學(xué)硬件來驅(qū)動(dòng);而Plexxi公司則將電子和光纖網(wǎng)絡(luò)整合到了一個(gè)交換機(jī)中。這一裝置在去年的晚些時(shí)候才正式地向世人公布,而且至少有一家公司(云服務(wù)公司Cloud Sigma)正在其實(shí)時(shí)數(shù)據(jù)中心使用這種交換機(jī)。 你將這些交換機(jī)串在一起,盡管他們可以繼續(xù)通過電子網(wǎng)絡(luò)傳輸其中的某些數(shù)據(jù),但是你也可以在特定的端點(diǎn)之間直接創(chuàng)建光纖連接——在這些端點(diǎn)之間,你可以用光纖連接來傳輸非常龐大的數(shù)據(jù)。一根光纖電纜將這些交換機(jī)連接起來。但是在這根電纜上,你可以使用不同波長的光在兩個(gè)特定的交換機(jī)之間建立連接,這些連接可以免受來自網(wǎng)絡(luò)其他部分的數(shù)據(jù)流的干擾。 與帕彭類似,Plexxi公司的首席執(zhí)行官胡薩克用高速公路來比喻這一技術(shù)!霸趥鹘y(tǒng)的網(wǎng)絡(luò)上,電纜往哪走你就得跟著往哪發(fā)送數(shù)據(jù)。這就是所謂的高速公路網(wǎng)。瀝青鋪到哪你就跟到哪。”他說,“而對于 Plexxi公司,從某種程度上講,你可以隨意自己鋪路。如果證明是兩個(gè)地方彼此之間想要進(jìn)行大量的數(shù)據(jù)傳輸,那么我們可以直接在它們之間創(chuàng)建光纖通道! 但是,Plexxi公司并不使用電路交換技術(shù)。在進(jìn)軍光纖領(lǐng)域時(shí),它堅(jiān)持使用封包交換。而且它也不會(huì)通過搭建橋梁來疏導(dǎo)流量。它只是提供一個(gè)軟件控制器,讓你根據(jù)你自己正在運(yùn)行的應(yīng)用程序來搭建這些光纖路徑。 Plexxi 公司的交換機(jī)的價(jià)格比一個(gè)普通的網(wǎng)絡(luò)開關(guān)大約要貴上一倍:前者的價(jià)格大約在7萬美元,而后者則只有3.5萬美元。但是根據(jù)CloudSigma公司網(wǎng)絡(luò)負(fù)責(zé)人亞歷山大-伊萬諾夫(Alexander Ivanov)的說法,你可以在其他方面來彌補(bǔ)多出的這一部分成本。該公司能夠用更少的網(wǎng)絡(luò)交換機(jī)來運(yùn)行自己的網(wǎng)絡(luò),而且該網(wǎng)絡(luò)更擅長于該公司數(shù)據(jù)中心內(nèi)的來回傳輸?shù)凝嫶髷?shù)據(jù)流量——數(shù)據(jù)中心內(nèi)部的數(shù)據(jù)傳輸叫做“東西流量”,數(shù)據(jù)中心之間的數(shù)據(jù)傳輸叫做“南北流量”。 你可以看出,東西流量的增加不僅對于谷歌、Facebook和其他許多依賴于分布式數(shù)據(jù)軟件的公司來說是一個(gè)問題,而且對于CloudSigma、亞馬遜和其他“云端”服務(wù)來說也是如此——這些服務(wù)為外部客戶提供計(jì)算能力。云服務(wù)同樣需要各個(gè)服務(wù)器之間進(jìn)行大量的數(shù)據(jù)交流。 隨著所有這些業(yè)務(wù)的持續(xù)發(fā)展,電子網(wǎng)絡(luò)的局限性將只會(huì)帶來更多的問題。數(shù)據(jù)中心越大,服務(wù)器之間的距離就越遠(yuǎn),而它們之間的距離越遠(yuǎn),電子網(wǎng)絡(luò)連接就會(huì)變得越不穩(wěn)定,會(huì)變得更麻煩。光纖網(wǎng)絡(luò)毫無疑問就是問題的解決辦法。問題在于它最快要何時(shí)才會(huì)出現(xiàn)。 |