售前電話
135-3656-7657
售前電話 : 135-3656-7657
阿里巴巴在中國的一個挑戰(zhàn)就是數(shù)據(jù)中心。Coly Li表示必須租賃第三方的數(shù)據(jù)中心,根據(jù)地區(qū)和網(wǎng)站,電力供應(yīng)、制冷和機架容量變化多樣。Li說:“我們沒法要求他們追隨我們的唯一標準,因為基礎(chǔ)架構(gòu)就擺在那里。”
阿里巴巴考慮采用Facebook的方法是用藍光碟進行冷存儲。Li表示他的團隊目前也沒有證據(jù)證明藍光碟會符合低成本和耐久性的需求。他說阿里巴巴寄出了很多藍光廠商,在這一點上也沒有太大的改進。
因此AIS團隊決定用便宜且低性能的HDD。阿里巴巴的硬件設(shè)計基于存儲服務(wù)器Scorpio數(shù)據(jù)中心標準項目的一部分,需要18臺3.5英寸的4TB或者8TB HDD,放在1U的服務(wù)器上,32個1U服務(wù)器放在單獨的機架上。服務(wù)器采用英特爾Atom處理器,系統(tǒng)采用10GB的以太網(wǎng)。
Li表示他的團隊希望盡快讓系統(tǒng)上線,決定不構(gòu)建大型的集群,相反AIS設(shè)計了四個“Scorpio”硬件機架的部署單元,通過軟件定義、分布式子集群實現(xiàn),可以在單元中跨越每一個機架。Li表示部署單元的規(guī)模可以擴展到更多的機架以及子集群,主要取決于數(shù)據(jù)中心的空間,但是關(guān)注的焦點仍舊是單獨的子集群的質(zhì)量。
“如果這種實施時正確的,大部分時間而言,簡單意味著可靠和高性能,”他說道。
Li還表示前端的系統(tǒng)以各種形式收集數(shù)據(jù),包括壓縮的和加密的,從內(nèi)部網(wǎng)絡(luò)和公有源中收集,同時將這些數(shù)據(jù)傳輸?shù)酱笮偷膶ο笾性贚ambert中進行存儲。Lambert中的平均對象規(guī)格目前是100GB,但是Li表示AIS團隊將會按需改變規(guī)模。目前Sheepdog對象存儲系統(tǒng)的數(shù)據(jù)對象規(guī)模最大為16PB。
一個數(shù)據(jù)對象存儲在一個單一的具體的軟件定義子集群中。當(dāng)子集群填滿了,傳輸一個密封狀態(tài),硬盤就會斷電,內(nèi)存和CPU進入空閑模式,以極低的功耗運作。數(shù)據(jù)對象隨后鍵入下一個可用的軟件定義子集群。
Li表示每一個封閉的子集群包含足夠的空間,可以接受大約10%或者15%的硬盤失敗。該團隊只有在沒有空間恢復(fù)時才會變更硬盤。
大規(guī)模部署中,Lambert系統(tǒng)由許多封閉的服務(wù)器組成,工作中的服務(wù)器存儲數(shù)據(jù),閑置服務(wù)器用來存儲?;钴S服務(wù)器的群組是最小的。只有一小部分子集群在任何時間都是工作狀態(tài)。
阿里巴巴之所以選擇開源項目Sheepdog是因為其建議性,AIS的冷數(shù)據(jù)存儲首席軟件工程師Robin Dong說道。Dong表示Sheepdog只有35,000行代碼,阿里巴巴不需要文件系統(tǒng)或者POSIX接口,而且只關(guān)注系統(tǒng)層的分布式塊存儲。