1,搜索引擎必要對(duì)抓取到的效果進(jìn)行管理。當(dāng)索引效果越來越多時(shí),保證存儲(chǔ)和查詢速度,保證數(shù)萬臺(tái)服務(wù)器內(nèi)容同等的難度越來越高。Google于03至06年左右宣布了三篇論文,描述了GFS、BigTable、MapReduce三種技術(shù)以解決這些題目。因?yàn)镚oogle并沒有宣布算法細(xì)節(jié),因此由雅虎牽頭,在06年左右建立了開源項(xiàng)目Hadoop,目的是根據(jù)Google的三篇論文,實(shí)現(xiàn)一個(gè)大規(guī)模的管理計(jì)算體系。但直到08年,Hadoop同Google宣布的一些關(guān)鍵指標(biāo)仍有幾倍的差距。百度曾經(jīng)由王選院士的一個(gè)博士帶領(lǐng),想基于Google論文自力實(shí)現(xiàn)(金字塔計(jì)劃)一個(gè)本身的體系,但開發(fā)難度過大項(xiàng)目短命,Z終也轉(zhuǎn)向了Hadoop�,F(xiàn)在,Amazon、Facebook、Yahoo包括百度都在大規(guī)模應(yīng)用Hadoop,而Google已經(jīng)從2010年開始遷移到新的三駕馬車Caffeine、Pregel、Dremel上了。單就搜索技術(shù)而言,Google不是領(lǐng)先百度,而是領(lǐng)先全世界。
2,2009-2012年,Google宣布了世界上第一個(gè)全球化的數(shù)據(jù)庫體系Spanner,這套體系將分布在全球各地的數(shù)據(jù)中間連接到一路,行使原子鐘和GPS,打破了地理間隔,實(shí)現(xiàn)了全球規(guī)模具有同等性和實(shí)時(shí)性的數(shù)據(jù)庫。在Google之前,許多人認(rèn)為這種體系不可能做出來,但Google做到了[1]。
另外,除了搜索,Google在深度學(xué)習(xí)和機(jī)器人方面也是全球領(lǐng)先的,尤其是后者。盡管百度也有深度學(xué)習(xí)研究院,但在這兩方面跟Google比起來完全是空白。
事實(shí)上,讓百度來和谷歌比是很不公平的,搜索只是Google的一個(gè)部門,但卻是百度一整個(gè)公司。Google的競(jìng)爭(zhēng)對(duì)手是Apple、Amazon、Facebook和Microsoft,百度的競(jìng)爭(zhēng)對(duì)手是360、搜狗。Google沒了搜索,還有Chrome、Android、Motorola、Youtube,百度沒了搜索,那就什么都沒有了。
Exclusive: Inside Google Spanner, the Largest Single Database on Earth
本文作者:Kenny Chao 文章來源:知乎