在深入學(xué)習(xí)zookeeper我想先給大家介紹一個(gè)和zookeeper相關(guān)的應(yīng)用實(shí)例，我把這個(gè)實(shí)例命名為遠(yuǎn)程調(diào)用服務(wù)。通過(guò)對(duì)這種應(yīng)用實(shí)例的描述，我們會(huì)對(duì)zookeeper應(yīng)用場(chǎng)景會(huì)有深入的了解。
遠(yuǎn)程調(diào)用是系統(tǒng)與系統(tǒng)之間的通信機(jī)制，它的另一種理解就是進(jìn)程間的通信。做分布式系統(tǒng)的開(kāi)發(fā)，遠(yuǎn)程調(diào)用技術(shù)是其核心技術(shù)。遠(yuǎn)程調(diào)用技術(shù)可以將一組計(jì)算機(jī)系統(tǒng)形成一個(gè)網(wǎng)絡(luò)系統(tǒng)，對(duì)外提供整體服務(wù)，那么這一群的計(jì)算機(jī)系統(tǒng)就構(gòu)成了一個(gè)更大型，性能更高的計(jì)算機(jī)系統(tǒng)。
我在前面的博客里介紹了一種分布式網(wǎng)站的架構(gòu)設(shè)計(jì)，其中就有一個(gè)使用netty技術(shù)編寫(xiě)的組件作為前端系統(tǒng)和服務(wù)端系統(tǒng)通信的媒介。在一個(gè)大型的互聯(lián)網(wǎng)公司里會(huì)有很多這樣的網(wǎng)站系統(tǒng)，如果每一個(gè)網(wǎng)站都像我博客里所論述的進(jìn)行開(kāi)發(fā)，那么對(duì)于系統(tǒng)通信維護(hù)和管理，以及每個(gè)系統(tǒng)網(wǎng)絡(luò)資源的分配管理就會(huì)造成一定的問(wèn)題，對(duì)于這樣的問(wèn)題，我舉個(gè)例子可能大家會(huì)更明白些，比如一個(gè)互聯(lián)網(wǎng)公司有數(shù)個(gè)對(duì)外提供服務(wù)的網(wǎng)站，有的網(wǎng)站訪問(wèn)量很大，有的相對(duì)較小，但是公司的寬帶資源是有限的，那么我們就希望動(dòng)態(tài)的管理和分配這些資源，如果我們網(wǎng)站的通信功能和網(wǎng)站都是緊耦合的，那么調(diào)配這些資源的工作就會(huì)比較復(fù)雜和繁瑣，也很容易出問(wèn)題。這樣的問(wèn)題還會(huì)還有很多，我這里不做細(xì)致分析了。做軟件開(kāi)發(fā)時(shí)候，有個(gè)原則，如果某個(gè)功能是可以通用的，該功能很需要統(tǒng)一管理時(shí)候，我們就應(yīng)該把這個(gè)功能抽取成一個(gè)獨(dú)立的系統(tǒng)或組件，并且這個(gè)系統(tǒng)或組件賦予一些增強(qiáng)級(jí)的功能特性，這樣必定對(duì)整個(gè)系統(tǒng)的健壯性、可用性以及效率上有所提升。
而我在分布式網(wǎng)站里所描述的通信技術(shù)，就是遠(yuǎn)程調(diào)用技術(shù)的一種，遠(yuǎn)程調(diào)用技術(shù)就是客戶端和服務(wù)端的通信技術(shù)，它可以當(dāng)做cs架構(gòu)技術(shù)的一種，在java里有很多優(yōu)秀的框架實(shí)現(xiàn)遠(yuǎn)程調(diào)用，例如java自帶的RMI，spring自帶的Httpinvoker，webservice技術(shù)等等。但是現(xiàn)有的這些技術(shù)滿足不了互聯(lián)網(wǎng)公司的遠(yuǎn)程調(diào)用需求，今天我將講述一套我自己構(gòu)思的一套遠(yuǎn)程調(diào)用技術(shù)，這個(gè)是借鑒了一些我們公司的類似軟件的做法。
該框架主要是針對(duì)java的，其他語(yǔ)言目前不能支持。首先我要總結(jié)遠(yuǎn)程調(diào)用技術(shù)要包括那些技術(shù)，它們分別是：
通信技術(shù)：遠(yuǎn)程調(diào)用就是通過(guò)網(wǎng)絡(luò)技術(shù)將不同系統(tǒng)構(gòu)成一個(gè)整體，因此通信技術(shù)是其重點(diǎn)，通信技術(shù)我這里選擇的是netty技術(shù)，Netty提供異步的、事件驅(qū)動(dòng)的網(wǎng)絡(luò)應(yīng)用程序框架和工具，用以快速開(kāi)發(fā)高性能、高可靠性的網(wǎng)絡(luò)服務(wù)器和客戶端程序。Netty會(huì)讓我們開(kāi)發(fā)通信程序變得簡(jiǎn)單，高效，其效率也是非常好的，同時(shí)它還支持多種不同的網(wǎng)絡(luò)協(xié)議。
序列化和反序列化技術(shù)：java的序列化技術(shù)是指將對(duì)象轉(zhuǎn)換為byte數(shù)據(jù)，這些數(shù)據(jù)可以被還原為java對(duì)象，這種還原的過(guò)程就是反序列化了，該機(jī)制可以自動(dòng)處理不同操作系統(tǒng)之間的差異，例如window下序列化的對(duì)象，可以在linux上進(jìn)行重新構(gòu)建。Java的jdk里自帶了一個(gè)序列化和反序列化機(jī)制，熟悉hadoop的人知道hadoop設(shè)計(jì)了一套序列化和反序列化機(jī)制，為什么hadoop作者不選擇使用java自帶的序列化機(jī)制，這是因?yàn)閖ava序列化機(jī)制非常復(fù)雜，復(fù)雜帶來(lái)效率低下，java的序列化機(jī)制還有一個(gè)重要的缺點(diǎn)就是它序列化的二進(jìn)制數(shù)據(jù)會(huì)非常大，因?yàn)閖ava序列化時(shí)候會(huì)附帶太多該對(duì)象的相關(guān)信息，過(guò)大的數(shù)據(jù)量就會(huì)影響網(wǎng)絡(luò)傳輸?shù)男?，因此hadoop自己設(shè)計(jì)了一套序列化和反序列化機(jī)制，hadoop不同節(jié)點(diǎn)之間的通信也是一種遠(yuǎn)程調(diào)用機(jī)制，因此我們發(fā)現(xiàn)好的序列化和反序列化技術(shù)對(duì)于遠(yuǎn)程調(diào)用是相當(dāng)重要的。我們公司的遠(yuǎn)程調(diào)用框架序列化技術(shù)有兩種一種就是java自帶的序列化和反序列化機(jī)制，一種是hessian技術(shù)，它是一種更加高效的序列化和反序列化技術(shù)。
壓縮技術(shù)：做網(wǎng)絡(luò)編程，最稀缺的資源就是寬帶資源，如果傳輸數(shù)據(jù)過(guò)大，那么對(duì)數(shù)據(jù)的壓縮就會(huì)顯得十分重要，這里我推薦一個(gè)壓縮技術(shù)snappy，它是一種高效的壓縮和解壓縮包，google公司內(nèi)部廣泛使用的一種壓縮技術(shù)。
高并發(fā)的技術(shù)：遠(yuǎn)程調(diào)用技術(shù)一定會(huì)是多線程，只有這樣才能滿足多個(gè)并發(fā)的處理請(qǐng)求，java在1.5的版本里提供了一個(gè)Executor框架，它在線程開(kāi)發(fā)里引入了任務(wù)的概念，使得多線程的程序開(kāi)發(fā)會(huì)更加合理和可控，關(guān)于executor的技術(shù)大家可以看看一本經(jīng)典的書(shū)籍《java并發(fā)編程實(shí)踐》。想讓線程更加有效率，池技術(shù)也是并不可少的，apache的common-pool是一個(gè)非常好的池技術(shù)，我們可以將線程都預(yù)先創(chuàng)建好，然后放入到common-pool池里進(jìn)行管理。
非侵入式：這個(gè)也可以叫做松耦合，對(duì)于java的web開(kāi)發(fā)，最好的解耦方式就是使用spring技術(shù)，當(dāng)我們系統(tǒng)里把遠(yuǎn)程調(diào)用框架引入后，配置好相關(guān)的參數(shù)，我們可以把用于遠(yuǎn)程調(diào)用的方法定義在spring的配置文件里，那么在程序里調(diào)用的時(shí)候，利用spring直接獲取這個(gè)bean，那么對(duì)于遠(yuǎn)程調(diào)用的開(kāi)發(fā)就和我們?cè)赼ction里調(diào)用server的方法沒(méi)啥區(qū)別了。下面是一段實(shí)例代碼：
負(fù)載均衡：分布式系統(tǒng)都離不開(kāi)負(fù)載均衡，好的負(fù)載均衡可以充分利用好不同服務(wù)器的計(jì)算資源，提供系統(tǒng)的并發(fā)量和運(yùn)算能力，對(duì)于網(wǎng)站而言（我們公司現(xiàn)在網(wǎng)站服務(wù)器不是太多）少于10臺(tái)服務(wù)器可以使用兩種策略：一種是簡(jiǎn)單輪詢，比如有6臺(tái)服務(wù)端，我們會(huì)把第一個(gè)請(qǐng)求給第一臺(tái)服務(wù)器，第二個(gè)請(qǐng)求給第二臺(tái)，依次類推，等6臺(tái)循環(huán)完畢，又從第一臺(tái)開(kāi)始；第二種是隨機(jī)方式，即使用random函數(shù)，當(dāng)然更多的服務(wù)器我就不知道有什么輪詢機(jī)制比較好，希望有知道的童鞋可以給我推薦下。
我這里設(shè)計(jì)的遠(yuǎn)程調(diào)用框架，除了以上的功能外，我希望它還能有心跳管理機(jī)制，超時(shí)管理機(jī)制，服務(wù)分級(jí)管理，就是根據(jù)服務(wù)的重要性或者系統(tǒng)的繁忙度可以調(diào)節(jié)網(wǎng)絡(luò)資源。
哈哈，講了這么久估計(jì)有童鞋可能有點(diǎn)煩了，不是說(shuō)應(yīng)用zookeeper的實(shí)例嗎？怎么還沒(méi)見(jiàn)到zookeeper的影子。別著急，zookeeper馬上就要上場(chǎng)了。
還是以我前面博客里寫(xiě)分布式網(wǎng)站講起，服務(wù)端系統(tǒng)我們可以當(dāng)做服務(wù)提供者，前端系統(tǒng)當(dāng)做服務(wù)調(diào)用者，提供者可以類比商戶，調(diào)用者可以類比客戶，商戶和客戶可以直接進(jìn)行交易，這種直接交易方式非常原始甚至還會(huì)有風(fēng)險(xiǎn)，現(xiàn)代社會(huì)商戶和客戶直接的交易十分高效，高效的原因是因?yàn)橛幸粋€(gè)規(guī)范的大市場(chǎng)，商戶和客戶的交易在市場(chǎng)里進(jìn)行的，這樣交易會(huì)變得更加安全和高效，我設(shè)計(jì)的分布式框架最大的特點(diǎn)就是提供了一個(gè)類似市場(chǎng)的角色，它來(lái)管理服務(wù)提供者和服務(wù)調(diào)用者，我把這個(gè)功能模塊稱為遠(yuǎn)程調(diào)用管理組件。
遠(yuǎn)程調(diào)用管理組件是本框架的核心，它的主要作用是接收服務(wù)端提供者的注冊(cè)的通知，該通知一般是接口以及該接口的實(shí)現(xiàn)類還有服務(wù)器的ip地址，管理組件會(huì)將這些通知記錄下來(lái)，并且根據(jù)配置對(duì)這些服務(wù)程序進(jìn)行分組和標(biāo)記，注冊(cè)好的信息管理組件會(huì)將這些信息推送到服務(wù)調(diào)用者。遠(yuǎn)程調(diào)用管理組件還包含心跳機(jī)制，這個(gè)心跳機(jī)制是針對(duì)服務(wù)提供者，通過(guò)心跳機(jī)制檢測(cè)服務(wù)提供者的健康狀況，管理組件不會(huì)檢測(cè)服務(wù)調(diào)用者的健康狀態(tài)，因?yàn)檫@個(gè)沒(méi)必要，因?yàn)楸究蚣艿氖褂眠€是調(diào)用者直接去請(qǐng)求提供者，邏輯上是沒(méi)必要關(guān)心調(diào)用者的狀態(tài)，這和bs架構(gòu)里瀏覽器一樣，我們不會(huì)去關(guān)心瀏覽器用戶是不是存在。服務(wù)提供者、服務(wù)調(diào)用者和遠(yuǎn)程調(diào)用管理組件的關(guān)系如下圖所示：
遠(yuǎn)程調(diào)用框架運(yùn)行的過(guò)程是：當(dāng)服務(wù)提供者啟動(dòng)時(shí)候，它會(huì)將自己的ip地址和注冊(cè)的方法傳輸?shù)竭h(yuǎn)程調(diào)用管理組件，管理組件接收到注冊(cè)信息會(huì)將這些信息存儲(chǔ)下來(lái)，存儲(chǔ)技術(shù)就是使用zookeeper，存儲(chǔ)成功后，管理組件會(huì)將成功通知傳回給服務(wù)提供者，同時(shí)管理組件還會(huì)通過(guò)心跳檢測(cè)服務(wù)提供者是否健康；當(dāng)服務(wù)調(diào)用者啟動(dòng)時(shí)候，它會(huì)向管理組件請(qǐng)求服務(wù)提供者信息，管理組件接收到請(qǐng)求后會(huì)將相關(guān)信息推送給服務(wù)調(diào)用者。在實(shí)際系統(tǒng)運(yùn)行時(shí)候，服務(wù)調(diào)用者直接和服務(wù)提供者進(jìn)行通信交互了，通信方式是netty，如果調(diào)用者和提供者有相關(guān)變化，都會(huì)先通知服務(wù)管理組件，服務(wù)管理組件會(huì)將相關(guān)變更信息推送給相應(yīng)的系統(tǒng)。
遠(yuǎn)程調(diào)用管理組件主要是通過(guò)zookeeper實(shí)現(xiàn)，zookeeper擁有一個(gè)層次的命名空間，它的模型是一個(gè)樹(shù)狀結(jié)構(gòu)，樹(shù)狀結(jié)構(gòu)是一個(gè)強(qiáng)大的數(shù)據(jù)類型，它幾乎能存儲(chǔ)所有不同的數(shù)據(jù)類型，我們通過(guò)zookeeper將這些信息保存起來(lái)，便于我們管理整個(gè)遠(yuǎn)程調(diào)用框架，同時(shí)zookeeper還是高可靠的，這個(gè)我在前面zookeeper文章里講到了，這樣就保證了整個(gè)遠(yuǎn)程調(diào)用框架的穩(wěn)定性，實(shí)際應(yīng)用中我們會(huì)將組件編譯成一個(gè)jar包，不同的項(xiàng)目直接引用這個(gè)jar包，這樣管理組件服務(wù)端和服務(wù)的提供者和調(diào)用者就聯(lián)系起來(lái)。至于提供者和調(diào)用者的通信機(jī)制是直接進(jìn)行，因?yàn)槲覀儗⑼ㄐ懦绦蚣稍趈ar包里，只不過(guò)相應(yīng)的管理機(jī)制抽取到外部服務(wù)端進(jìn)行統(tǒng)一管理。
這就是我設(shè)計(jì)的遠(yuǎn)程調(diào)用框架，可惜的是，這個(gè)構(gòu)思我還沒(méi)有真正實(shí)現(xiàn)過(guò)，今天拿出來(lái)是想體現(xiàn)zookeeper的實(shí)際應(yīng)用，為我后面講解zookeeper做鋪墊，至于是否可行，看以后有沒(méi)有機(jī)會(huì)開(kāi)發(fā)個(gè)類似的系統(tǒng)，到時(shí)估計(jì)還有很多意想不到的問(wèn)題要解決。
第三十四屆CIO班招生
北達(dá)軟EXIN網(wǎng)絡(luò)空間與IT安全基礎(chǔ)認(rèn)證培訓(xùn)
北達(dá)軟EXIN DevOps Professional認(rèn)證培訓(xùn)
責(zé)編：zhangxue
免責(zé)聲明：本網(wǎng)站（http://www.www.gypb.net/）內(nèi)容主要來(lái)自原創(chuàng)、合作媒體供稿和第三方投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
本網(wǎng)站刊載的所有內(nèi)容（包括但不僅限文字、圖片、LOGO、音頻、視頻、軟件、程序等）版權(quán)歸原作者所有。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，請(qǐng)及時(shí)通知本站，予以刪除。
搶沙發(fā)
