帝國背后的故事之解密谷歌網(wǎng)絡(luò)

2016-09-24 00:00:00

次

龍崗網(wǎng)站建站多年以來，谷歌在搭建自己的服務(wù)器網(wǎng)絡(luò)時(shí)并沒有使用傳統(tǒng)網(wǎng)絡(luò)設(shè)備商的設(shè)備，他們并沒有大規(guī)模的購買思科，惠普或者愛立信的交換機(jī)和路由器。三年半之前，一個(gè)包裹被快遞到了愛荷華州一個(gè)農(nóng)業(yè)小鎮(zhèn)的某辦公樓里，一段關(guān)于谷歌的神奇故事就此拉開了帷幕。包裹里面是幾個(gè)奇怪的計(jì)算設(shè)備，它們非常的寬大扁平，就像裝披薩的盒子。盒子的一邊是密集的開口，顯然是用來接入大量網(wǎng)線用的，另一邊貼著一個(gè)“海王星交換機(jī)”(Pluto Switch)的標(biāo)簽。它們的外形與常規(guī)的網(wǎng)絡(luò)設(shè)備大相徑庭，而且盒子的背面還印著許多芬蘭語的字符。這個(gè)公司的工作人員顯然并不知道這些盒子的具體用途，于是有人把這些盒子轉(zhuǎn)寄到了他們威斯康辛的總部，希望那里的IT專家們可以解答這些盒子的秘密?？偛康腎T工作人員一開始同樣一頭霧水，但是不久之后他們?cè)谝粋€(gè)非常小眾的網(wǎng)絡(luò)論壇上得到了一些答復(fù)：這些盒子是網(wǎng)絡(luò)交換機(jī)，它們工作在因特網(wǎng)紛繁復(fù)雜豐富多彩的表面之下，負(fù)責(zé)在數(shù)據(jù)中心之間大量的傳輸和轉(zhuǎn)移數(shù)據(jù)，并且，它們的主人是谷歌。

龍崗網(wǎng)站建設(shè)多年以來，谷歌在搭建自己的服務(wù)器網(wǎng)絡(luò)時(shí)并沒有使用傳統(tǒng)網(wǎng)絡(luò)設(shè)備商的設(shè)備，他們并沒有大規(guī)模的購買思科，惠普或者愛立信的交換機(jī)和路由器。為了適應(yīng)谷歌急速擴(kuò)張的服務(wù)器網(wǎng)絡(luò)，他們專門設(shè)計(jì)了自己的網(wǎng)絡(luò)設(shè)備并且為他們編寫了自己的軟件用于配置和管理自己的網(wǎng)絡(luò)。而直到這次陰差陽錯(cuò)的郵遞員事件，外界才第一次看到這些設(shè)備的真容。由于這個(gè)項(xiàng)目對(duì)于谷歌的重大意義，在對(duì)外界保密的同時(shí)谷歌一直在持續(xù)增加對(duì)這個(gè)項(xiàng)目的投入。直到今天早上，在硅谷的一個(gè)技術(shù)會(huì)議中，來自谷歌的Amin Vahdat才第一次作為這個(gè)項(xiàng)目的負(fù)責(zé)人展示了支撐谷歌網(wǎng)絡(luò)帝國長達(dá)10年的前5代的硬件軟件解決方案，并且對(duì)這個(gè)領(lǐng)域的一些基礎(chǔ)技術(shù)進(jìn)行了介紹和探討。這些探討對(duì)于整個(gè)互聯(lián)網(wǎng)世界都具有一定的前瞻性，畢竟未來會(huì)有更多的互聯(lián)網(wǎng)公司將要走上谷歌已經(jīng)走過的路。

圖為Amin Vahdat, 谷歌“消防水管”(Firehose)項(xiàng)目的負(fù)責(zé)人

Amin Vahdat最早是UCSD的教授，他的研究領(lǐng)域就是網(wǎng)絡(luò)的拓展，當(dāng)意識(shí)到在學(xué)術(shù)圈的世界里已經(jīng)無法構(gòu)建規(guī)模足夠大的網(wǎng)絡(luò)之后，他來到了谷歌。據(jù)Vahdat介紹，谷歌這個(gè)秘密項(xiàng)目名字叫做“消防水管”(Firehose)，始于2004年。到2005,2006年的時(shí)候，這個(gè)項(xiàng)目的產(chǎn)品已經(jīng)部署在谷歌若干個(gè)數(shù)據(jù)中心日夜運(yùn)行。除了快遞員投錯(cuò)的那些類似于“高性能架頂式”(Top-of-Rack)交換機(jī)的產(chǎn)品，他們還開發(fā)了另外一種用于連接大規(guī)模網(wǎng)絡(luò)之間相互連接的“集群交換機(jī)”(Cluster swtiches)。不僅如此，谷歌甚至還設(shè)計(jì)開發(fā)了自己專屬的路由協(xié)議和網(wǎng)絡(luò)管理軟件。對(duì)此Vahdat的解釋是：“那時(shí)的設(shè)備完全不能應(yīng)付我們的網(wǎng)絡(luò)所需要處理的帶寬和數(shù)據(jù)吞吐量，那樣的設(shè)備在這個(gè)星球上根本就不存在?！?/span>

談到消防水管這個(gè)項(xiàng)目最初的動(dòng)機(jī)，Vahdat表示主要有兩個(gè)方面，一方面在于谷歌的服務(wù)器網(wǎng)絡(luò)擴(kuò)張?zhí)?，傳統(tǒng)網(wǎng)絡(luò)設(shè)備商的產(chǎn)品已經(jīng)無法滿足他們?cè)诟鱾€(gè)不停擴(kuò)張的數(shù)據(jù)中心之間快速交換數(shù)據(jù)的需求；另一方面谷歌也需要為這個(gè)長期持續(xù)的挑戰(zhàn)找到一個(gè)低成本的解決方案，運(yùn)用傳統(tǒng)的手段搭建谷歌所需要的規(guī)模的數(shù)據(jù)中心和網(wǎng)絡(luò)，成本將是真正意義的天文數(shù)字。而這個(gè)低成本的解決方案就是大量購買價(jià)格低廉的民用級(jí)的芯片，并且讓他們協(xié)同工作完成交換處理海量數(shù)據(jù)的任務(wù)，聽起來很像當(dāng)下被炒得火熱的云計(jì)算的概念雛形。

龍崗網(wǎng)站建設(shè)中谷歌的確在愛荷華州的那個(gè)小鎮(zhèn)附近設(shè)有數(shù)據(jù)中心，所以顯然是郵遞員粗心把這個(gè)設(shè)備寄到了錯(cuò)誤的地址。這個(gè)公司的工作人員把這些盒子兩兩裝好之后寄給了谷歌，并且迅速的從那個(gè)論壇上銷聲匿跡，但是他們?cè)谡搲显?jīng)發(fā)過的照片和技術(shù)討論還是為人們打開了一扇窺探谷歌帝國內(nèi)部的神秘網(wǎng)絡(luò)世界的窗戶。它指向了一個(gè)也許會(huì)改變整個(gè)互聯(lián)網(wǎng)世界的神秘項(xiàng)目，而谷歌卻從未在公開的場合談?wù)撨^它。

圖為谷歌代號(hào)為”海王星“(Pluto)的高性能架頂式交換機(jī)

十幾年之前當(dāng)谷歌剛剛開始搭建自己的服務(wù)器網(wǎng)絡(luò)時(shí)，他們的選擇跟其他所有公司如出一轍。他們嘗試從思科購買最大最強(qiáng)的集群交換機(jī)(Cluster swtiches)，在每個(gè)數(shù)據(jù)中心的內(nèi)部，這些集群交換機(jī)構(gòu)成了網(wǎng)絡(luò)的骨架。每一部這樣的集群交換機(jī)都要花費(fèi)谷歌幾十萬到幾百萬美元，而每一部這樣的交換機(jī)上只有固定數(shù)量的網(wǎng)絡(luò)接口可以連接到其他的交換機(jī)，這意味著搭建一個(gè)可以滿足谷歌需要的數(shù)據(jù)網(wǎng)絡(luò)將會(huì)耗費(fèi)無盡的美元?！澳菚r(shí)候我們的采購只會(huì)跟他們說，嘿哥們，把你們現(xiàn)有最牛的交換機(jī)給我們，只要最牛的?！?/span>

于是從2004年開始谷歌內(nèi)部成立了一個(gè)小組開始研究自己的網(wǎng)絡(luò)設(shè)備解決方案。這個(gè)方案簡而言之就是用普通的民用級(jí)芯片搭建通用的硬件，然后在上面跑任何需要運(yùn)行的軟件。思科為不同級(jí)別的需求提供不同的硬件，并每套硬件上面都運(yùn)行特定的相匹配的軟件。而谷歌的解決方案則簡單粗暴的多，所有的硬件都是相同的，面對(duì)不同的需求時(shí)解決方案的差別僅在于一起協(xié)作的硬件的數(shù)量，一個(gè)“高性能架頂式”交換機(jī)就相當(dāng)于一個(gè)“集群交換機(jī)”上的一塊板，性能的提升幾乎等同于數(shù)量的疊加，而這些相同的硬件都可以運(yùn)行任何需要運(yùn)行的軟件。根據(jù)Vahdat的介紹，現(xiàn)在谷歌“朱庇特”(Jupiter)系列集群交換機(jī)的處理能力已經(jīng)達(dá)到了每秒40Tb，等同于4000萬個(gè)家庭用戶接入的帶寬和吞吐量。

圖為谷歌的”朱庇特“(Jupiter)系列集群交換機(jī)，每秒可以處理40Tb的數(shù)據(jù)，相當(dāng)于4000萬家庭用戶接入的吞吐量。

相較于硬件，Vahdat對(duì)于他們解決方案的軟件部分言之甚少。但是他透露他們的網(wǎng)絡(luò)設(shè)備運(yùn)行在Linux的系統(tǒng)之上，他們還開發(fā)了自己的路由協(xié)議“火線”(Firepath)，用于判斷數(shù)據(jù)交換時(shí)的最佳路徑。在網(wǎng)絡(luò)世界里工業(yè)標(biāo)準(zhǔn)的路由協(xié)議是BGP和OSPF，開發(fā)自己的路由協(xié)議是非常罕見的現(xiàn)象。Vahdat解釋說在他們開始搭建網(wǎng)絡(luò)的時(shí)候這些標(biāo)準(zhǔn)協(xié)議還不像今天這般簡單和高效，而他們將要搭建這個(gè)世界上最大最復(fù)雜的網(wǎng)絡(luò)，所以他們需要一個(gè)更加簡單快速可擴(kuò)展的方案?！盎鹁€”協(xié)議的細(xì)節(jié)無比復(fù)雜，如果要介紹它的優(yōu)勢，一言以蔽之，“火線”的用戶可以通過一個(gè)中央控制軟件來統(tǒng)一配置整個(gè)網(wǎng)絡(luò)的行為，而在傳統(tǒng)的網(wǎng)絡(luò)世界里如果想要達(dá)到同樣的效果，網(wǎng)絡(luò)管理專家們必須對(duì)網(wǎng)絡(luò)中的每個(gè)交換機(jī)一個(gè)一個(gè)的單獨(dú)配置。

谷歌的服務(wù)器網(wǎng)絡(luò)很可能是世界上最大的一個(gè)。一個(gè)驚人的事實(shí)是，如今谷歌網(wǎng)絡(luò)內(nèi)部數(shù)據(jù)中心之間交換的數(shù)據(jù)量已經(jīng)超過了谷歌和整個(gè)互聯(lián)網(wǎng)之間交換的數(shù)據(jù)量。如今像微軟，亞馬遜和Facebook也都面臨著和谷歌類似的挑戰(zhàn)，而他們也各自進(jìn)行著類似的項(xiàng)目。Facebook從一開始就公開了他們的SDN(software-defined networking)計(jì)劃，而美國最大的網(wǎng)絡(luò)服務(wù)提供商AT&T也已經(jīng)在緊鑼密鼓的進(jìn)行著向這種新的網(wǎng)絡(luò)技術(shù)的遷移。

龍崗網(wǎng)站建設(shè)中SDN技術(shù)發(fā)展到現(xiàn)在，憑借其低成本，高靈活性和幾乎無限的擴(kuò)展性的巨大優(yōu)勢，已經(jīng)給傳統(tǒng)的網(wǎng)絡(luò)設(shè)備商帶來了前所未有的挑戰(zhàn)，而這種挑戰(zhàn)很可能是顛覆性的，它意味著傳統(tǒng)網(wǎng)絡(luò)設(shè)備商們的蛋糕整個(gè)變小了，而且將越變?cè)叫?。?dāng)谷歌微軟這樣的巨頭紛紛拋棄思科們的時(shí)候，那些中小規(guī)模的公司一樣會(huì)因?yàn)镾DN的種種優(yōu)勢而希望轉(zhuǎn)投SDN的懷抱，他們之所以還不能這樣做是因?yàn)樗麄儾幌衲切┚揞^公司一樣有足夠的資源來設(shè)計(jì)開發(fā)自己的硬件軟件和解決方案。于是一批新的創(chuàng)業(yè)公司應(yīng)運(yùn)而生，他們專門為其他公司提供新一代的網(wǎng)絡(luò)解決方案，“當(dāng)你只需要花很少的錢買一堆廉價(jià)芯片并且用一個(gè)中央控制軟件就可以配置整個(gè)網(wǎng)絡(luò)的時(shí)候，昂貴而又復(fù)雜的傳統(tǒng)網(wǎng)絡(luò)解決方案看起來如此笨拙不堪一擊?！比缃馧icira (已經(jīng)被VMware收購), Big Switch Networks, 和 JR Rivers’ Cumulus Networks等公司的蓬勃發(fā)展已經(jīng)證明了SDN大勢的不可阻擋，網(wǎng)絡(luò)世界注定將要迎來一場革命。