2009-10-21 15:05:47 來源：
FreeWheel是由前DoubleClick高管Douglas Knopper, Jon Heller和Diane Yu于2007年創(chuàng)建，由硅谷頂級的風(fēng)險(xiǎn)投資機(jī)構(gòu)Battery Ventures投資的互聯(lián)網(wǎng)視頻廣告技術(shù)服務(wù)提供商，總部位于硅谷的Palo Alto，提供互聯(lián)網(wǎng)視頻廣告投放、監(jiān)測、預(yù)測和內(nèi)容互聯(lián)增值等關(guān)鍵解決方案。不同于其他外資企業(yè)，F(xiàn)reeWheel的研發(fā)中心設(shè)在中國，數(shù)據(jù)運(yùn)營中心則設(shè)立在美國紐約。
FreeWheel北京研發(fā)團(tuán)隊(duì)成立兩年多來，在敏捷軟件開發(fā)、Ruby On Rails開發(fā)大型復(fù)雜商業(yè)系統(tǒng)、視頻廣告技術(shù)、完全離岸的產(chǎn)品研發(fā)與跨國運(yùn)營等方面受到關(guān)注。本文將談?wù)凢reeWheel在高性能、高流量互聯(lián)網(wǎng)應(yīng)用系統(tǒng)架構(gòu)設(shè)計(jì)上所遵循的基本原則。
原則一：假設(shè)故障總會(huì)發(fā)生（Design with failure in mind）
在設(shè)計(jì)和實(shí)現(xiàn)大型互聯(lián)網(wǎng)在線應(yīng)用時(shí)，架構(gòu)師必須考慮到系統(tǒng)各模塊、各應(yīng)用服務(wù)器、各開源應(yīng)用軟件的故障比率和失效的潛在原因。當(dāng)服務(wù)的可用性（Availability）成為系統(tǒng)設(shè)計(jì)的首要目標(biāo)時(shí)，尤其需要在設(shè)計(jì)階段就充分考慮如何在系統(tǒng)某部分發(fā)生故障時(shí)，仍然保持一定的服務(wù)可用性。一些基本的假設(shè)包括：
·沒有Bug的軟件不存在，只是故障率高低不同，應(yīng)優(yōu)先關(guān)注高故障率應(yīng)用。
·硬件總會(huì)發(fā)生故障，需要備份和冗余。
·導(dǎo)致某應(yīng)用崩潰的請求，如不能及時(shí)終止或被redirect，可能會(huì)導(dǎo)致所有服務(wù)器一個(gè)接一個(gè)的癱瘓。
·構(gòu)建僅包括最簡單輸入輸出邏輯和固定輸出內(nèi)容的Dot 模式Server，以應(yīng)對應(yīng)用服務(wù)群大面積癱瘓或負(fù)載極限發(fā)生時(shí)的服務(wù)響應(yīng)。
·每次release正式升級前，在模擬生產(chǎn)環(huán)境的Staging環(huán)境運(yùn)行版本測試
原則二：數(shù)據(jù)分區(qū)處理（Partition Your Data）
在分布式計(jì)算環(huán)境下，如何高效的處理海量數(shù)據(jù)？如何在Bug發(fā)生后更加容易的重新批處理？一個(gè)基本的設(shè)計(jì)原則就是分區(qū)（Partition），即將待處理信息按照生成節(jié)點(diǎn)、內(nèi)在一致性（Self Contain）、時(shí)間等因素進(jìn)行分組，讓每個(gè)平行處理節(jié)點(diǎn)可盡量僅處理切分后的數(shù)據(jù)，而減少節(jié)點(diǎn)間的數(shù)據(jù)交換。分區(qū)的基本原則包括：
·應(yīng)用流量均衡Load Balance和數(shù)據(jù)分區(qū)結(jié)合
·容易在分組內(nèi)進(jìn)行再分區(qū)
·減少分組數(shù)據(jù)之間的狀態(tài)依賴
·減少數(shù)據(jù)中心之間的數(shù)據(jù)交換
原則三：冗余（Redundancy）
冗余幾乎是高可用系統(tǒng)設(shè)計(jì)的必然選擇，也是老生常談的話題，然而如何做到成本與效率的最佳平衡則是架構(gòu)設(shè)計(jì)考慮的重點(diǎn)?？梢詤⒖嫉慕?jīng)驗(yàn)包括：
·優(yōu)先減少單點(diǎn)故障。
·單個(gè)應(yīng)用可快速重啟恢復(fù)。
·應(yīng)用間減少啟動(dòng)和運(yùn)行依賴，盡量可獨(dú)立工作。
·與其依賴熱備冗余，不如建立服務(wù)中斷后的快速恢復(fù)預(yù)案（依賴熱備系統(tǒng)，在實(shí)戰(zhàn)中總是很難理想地恢復(fù)全部服務(wù)）。
原則四：監(jiān)控，監(jiān)控，還是監(jiān)控（Monitor, monitor, monitor）
從應(yīng)用部署到數(shù)據(jù)中心的第一天開始，就要意識到，沒有人能夠7x24小時(shí)的盯著幾十個(gè)應(yīng)用系統(tǒng)，近百個(gè)應(yīng)用程序的運(yùn)行狀態(tài)。有沒有down機(jī)，有沒有程序崩潰，有沒有數(shù)據(jù)庫死鎖，服務(wù)是否始終可用，這些不但是困擾工程師的問題，更是牽扯到客戶支持，乃至建立產(chǎn)品品牌的重要問題。如果你想"一切盡在掌握"，不想經(jīng)常（偶爾總是有的，因?yàn)槲粗收峡倳?huì)發(fā)生）在凌晨被運(yùn)營團(tuán)隊(duì)的電話叫醒，那么趕快set up你的自動(dòng)監(jiān)控系統(tǒng)，讓你的生活輕松起來吧。
至少有兩大類的Monitor群組需要建立起來：
從客戶角度：
·服務(wù)的可用時(shí)間/失效時(shí)間
·服務(wù)響應(yīng)延遲
·客戶累積服務(wù)次數(shù)
從系統(tǒng)容量角度：
·各應(yīng)用服務(wù)器的CPU/內(nèi)存/存儲(chǔ)負(fù)載統(tǒng)計(jì)
·高峰與平均比（Peak to mean ratio）
·應(yīng)用服務(wù)失效/崩潰/延遲報(bào)警
·應(yīng)用服務(wù)自動(dòng)恢復(fù)通知
·數(shù)據(jù)同步延遲和失效警報(bào)
·后臺(tái)日常處理日報(bào)/周報(bào)/月報(bào)，趨勢圖
原則五：保持簡捷（Keep It Simple Stupid, KISS）
傳統(tǒng)軟件開發(fā)中的變更管理是一個(gè)難題，在互聯(lián)網(wǎng)應(yīng)用系統(tǒng)開發(fā)中變更則比過去更加頻繁，同時(shí)對產(chǎn)品質(zhì)量的要求則更高。面對這個(gè)難題，普遍的結(jié)論是，唯一不變的就是變化本身。然而實(shí)戰(zhàn)中，控制變化的規(guī)模和影響，仍然需要找出一些"以不變應(yīng)萬變"的準(zhǔn)則，這對于提高產(chǎn)品開發(fā)效率和保持高質(zhì)量至關(guān)重要。
分清"保持"與"非保持"內(nèi)容
·業(yè)務(wù)需求總會(huì)變化，屬于"非保持"，架構(gòu)設(shè)計(jì)上充分考慮其變化，而非特化。
·而軟件本身像一個(gè)不斷成長進(jìn)化的生命，有自己的DNA。找到DNA，就找到了"保持"，例如設(shè)計(jì)的可擴(kuò)展性，可維護(hù)性，可測試性。
簡單原則
·代碼寫得越多，維護(hù)越復(fù)雜，需要不斷地通過重構(gòu)來簡化。
·復(fù)雜的系統(tǒng)容易出錯(cuò)，維護(hù)成本高，要避免設(shè)計(jì)單個(gè)復(fù)雜系統(tǒng)。
·如果測試人員需要費(fèi)九牛二虎之力才能理解"天才"的設(shè)計(jì)和實(shí)現(xiàn)，最好拋棄它。否則有一天你會(huì)為測試覆蓋率難以提高，故障重現(xiàn)困難而沮喪。
原則六：即時(shí)架構(gòu)（Just in Time Architect）
即時(shí)架構(gòu)是在尋找最佳設(shè)計(jì)和資源限制之間所做出的實(shí)用選擇，此原則可能更加適用于快速變化的軟件開發(fā)領(lǐng)域，例如互聯(lián)網(wǎng)，而非嚴(yán)謹(jǐn)?shù)漠a(chǎn)品線軟件開發(fā)。"設(shè)計(jì)"和"重構(gòu)"成為每個(gè)版本開發(fā)周期中不斷重復(fù)的迭代步驟。
即時(shí)設(shè)計(jì)
·在每個(gè)版本只有一個(gè)月的設(shè)計(jì)、開發(fā)和測試周期的約束下，要將基礎(chǔ)設(shè)施（Infrastructure）一次設(shè)計(jì)到最佳狀態(tài)是不可能的。
·基礎(chǔ)架構(gòu)可滿足未來6個(gè)月至1年（視業(yè)務(wù)增長與投入的預(yù)測而定）應(yīng)用的擴(kuò)展要求即可。
即時(shí)重構(gòu)
·知道何時(shí)、何處需要重構(gòu)是關(guān)鍵，提前籌劃，而不要臨陣磨槍。
·要為重構(gòu)預(yù)留足夠的開發(fā)資源。在FreeWheel，新產(chǎn)品開發(fā)，現(xiàn)有產(chǎn)品維護(hù)和基礎(chǔ)架構(gòu)重構(gòu)的資源比例大約是25% : 50% : 25%.
·重構(gòu)不是"推到重來"，每次重構(gòu)一部分要好得多，否則你的測試團(tuán)隊(duì)負(fù)擔(dān)太重，會(huì)導(dǎo)致產(chǎn)品質(zhì)量波動(dòng)。
以上是FreeWheel中國研發(fā)團(tuán)隊(duì)在研發(fā)Monetization Rights Management，MRM在線視頻廣告平臺(tái)過程中的一些實(shí)戰(zhàn)經(jīng)驗(yàn)分享，在QCon 2009 Beijing大會(huì)演講內(nèi)容基礎(chǔ)上部分整理?！?/p>
第三十四屆CIO班招生
北達(dá)軟EXIN網(wǎng)絡(luò)空間與IT安全基礎(chǔ)認(rèn)證培訓(xùn)
北達(dá)軟EXIN DevOps Professional認(rèn)證培訓(xùn)
免責(zé)聲明：本網(wǎng)站（http://www.www.gypb.net/）內(nèi)容主要來自原創(chuàng)、合作媒體供稿和第三方投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
本網(wǎng)站刊載的所有內(nèi)容（包括但不僅限文字、圖片、LOGO、音頻、視頻、軟件、程序等）版權(quán)歸原作者所有。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，請及時(shí)通知本站，予以刪除。
搶沙發(fā)
