整個(gè)計(jì)劃主要分為三個(gè)部分：
▍1. 以業(yè)務(wù)開(kāi)發(fā)為核心驅(qū)動(dòng)的技術(shù)棧中間件設(shè)計(jì)與實(shí)現(xiàn)。
這部分主要以Java語(yǔ)言開(kāi)發(fā)為主，主要講述以Java語(yǔ)言為主開(kāi)發(fā)的技術(shù)棧Albianj與任務(wù)
調(diào)度系統(tǒng)Scher與Jinwei系統(tǒng)。Albianj是一個(gè)類似于spring+hbm的高性能擴(kuò)展版。類比spring與hbm，IOC、DI響應(yīng)的做了簡(jiǎn)單化處理，但是增強(qiáng)了對(duì)于數(shù)據(jù)庫(kù)分庫(kù)分表的數(shù)據(jù)路由功能、分布式事務(wù)的控制功能等一序列面對(duì)海量數(shù)據(jù)與互聯(lián)網(wǎng)快速開(kāi)發(fā)要求的實(shí)現(xiàn)。整個(gè)albianj不僅僅只有spring與hbm的功能，它更是我們業(yè)務(wù)開(kāi)發(fā)的核心，整個(gè)架構(gòu)圖如下
Scher與Jinwei是我們?nèi)蝿?wù)調(diào)度的兩個(gè)不同類型的區(qū)分。他們分別完成定時(shí)和實(shí)時(shí)任務(wù)的調(diào)度。
它們基于Albianj實(shí)現(xiàn)，有著相同的物理與邏輯架構(gòu)，并且有著90%重疊的功能，但是我們卻在設(shè)計(jì)、開(kāi)發(fā)與部署的時(shí)候進(jìn)行了強(qiáng)制性的隔離，這里的原因痛苦而無(wú)奈，想知道為什么嗎？來(lái)，我告訴你。
▍ 2. 高性能開(kāi)發(fā)為主的中間件設(shè)計(jì)與實(shí)現(xiàn)。這部分主要由linux下的C開(kāi)發(fā)為主，主要講述我們自我實(shí)現(xiàn)的分布式id生成器Chaos，分布式文件系統(tǒng)DFS、分布式緩存系統(tǒng)lest與分布式協(xié)調(diào)器lax，通訊協(xié)議hms與使用JNI實(shí)現(xiàn)的http服務(wù)Aru。分布式id生成器Chaos主要為我們的業(yè)務(wù)生成全站的、可視化、區(qū)間內(nèi)單調(diào)遞增的id，用于取代老舊的MySQL自增id或者是uuid作為主鍵的方案。
Chaos生成的id和albianj的數(shù)據(jù)路由進(jìn)行緊密的配合，可以使開(kāi)發(fā)者在無(wú)感知、無(wú)侵入的情況下快速而有效的開(kāi)發(fā)出可以抵擋億級(jí)PV的分布式業(yè)務(wù)系統(tǒng)。DFS就不用多說(shuō)了，這是一個(gè)互聯(lián)網(wǎng)公司走向中間件自主的必經(jīng)之路，也是標(biāo)志之一。因為我們業(yè)務(wù)的特殊性，要求對(duì)于DFS存儲(chǔ)的內(nèi)容可進(jìn)行頻繁的更改，所以市面上其實(shí)并無(wú)相應(yīng)的成熟DFS可用，故我們別無(wú)選擇。我們?cè)贒FS上花了很大的時(shí)間進(jìn)行設(shè)計(jì)和優(yōu)化，使其滿足我們每天億級(jí)新增/更改的需求。有了DFS的內(nèi)容存儲(chǔ)，我們又對(duì)其增加了一個(gè)出口：這就是我們的Arch系統(tǒng)。說(shuō)起Arch系統(tǒng)，這僅僅是出于我們自己的看不慣和“2”的精神。因?yàn)橛X(jué)得netty太過(guò)復(fù)雜，所以就動(dòng)了自己寫(xiě)一個(gè)精簡(jiǎn)NIO的惻隱之心，所以就在“好玩”的驅(qū)使下，我們使用JNI自己封裝了一個(gè)C版本的NIO，然后因?yàn)橄朐囋囁耐陚湫浴⒔研院托阅埽紒?lái)想去http簡(jiǎn)單，那就搞一個(gè)小心的http服務(wù)器吧。所以arch由此誕生。目前arch運(yùn)行在我們的圖片、音頻等項(xiàng)目中，為漫畫(huà)、精排、封面提供每天億級(jí)訪問(wèn)的服務(wù)。對(duì)于圖片、音頻等當(dāng)然是主要輸出就可以了。但是對(duì)于內(nèi)容就沒(méi)有那么簡(jiǎn)單了，所以我們在DFS上又增加了一套基于大數(shù)據(jù)和AI的關(guān)鍵字鑒別與分析系統(tǒng)，這樣將DFS完整的平臺(tái)化。分布式緩存系統(tǒng)lest和分布式協(xié)調(diào)器lax則不同，他們的出現(xiàn)來(lái)自于我們對(duì)于緩存管理的無(wú)奈和懊惱，還有對(duì)于zookeeper的失望。以前我們的緩存使用了26臺(tái)的redis來(lái)進(jìn)行管理，機(jī)器數(shù)量增加的同時(shí)也增加了成本，并且redis客戶端的分布式模式時(shí)間長(zhǎng)了真的很難管理。所以我們開(kāi)發(fā)了lest，一個(gè)不需要大內(nèi)存而基于ssd的緩存系統(tǒng)。為了給lest增加嚴(yán)格的版本控制，實(shí)驗(yàn)了zookeeper，不管是部署還是性能，都不滿足我們的需求和胃口，再者zk的功能太多了，我們又及其討厭開(kāi)源軟件的“復(fù)雜稅”，所以在迫于無(wú)奈的情況下，我們只能自己開(kāi)發(fā)了分布式協(xié)調(diào)器lax。從而將lest和lax組合成一個(gè)完整的系統(tǒng)。
又因?yàn)閘est和lax的存儲(chǔ)與通訊的需要，在研究了google的pb等所謂的通訊協(xié)議后，還是不太滿意這些開(kāi)源的通訊協(xié)議不要中間協(xié)議文件與編譯的步驟，所以在此基礎(chǔ)上我們構(gòu)建了hms通訊與存續(xù)協(xié)議。 并且是hms不僅僅滿足存儲(chǔ)與通訊協(xié)議的需求，我們更是將hms的對(duì)象作為一個(gè)對(duì)象樹(shù)，還集成了簡(jiǎn)單的查詢方法，可以提供簡(jiǎn)單的大于，小于，等于等等查詢。▍ 3. 一部分
我們將討論一點(diǎn)哲學(xué)問(wèn)題：人、團(tuán)隊(duì)、架構(gòu)、業(yè)務(wù)代碼之間的4角關(guān)系。 說(shuō)了那么多，其實(shí)我就是想表達(dá)一個(gè)觀點(diǎn)：完全自主化中間件并不難。我們一個(gè)團(tuán)隊(duì)花了沒(méi)多少時(shí)間就開(kāi)發(fā)了那么多的東西，雖然中間也碰到了各種的問(wèn)題，好在都順利的解決了。還是印證了那句話：人類的進(jìn)程是由算法決定的—尤瓦爾·赫拉利每天的業(yè)務(wù)開(kāi)發(fā)是不是讓你已經(jīng)厭倦了整天加班的痛苦？所以，你準(zhǔn)備好了嗎？中間件開(kāi)發(fā)這門(mén)藝術(shù)幾乎就要失傳了，你還不趕快來(lái)參加我們？
粵嵌科技13年專注IT人才培訓(xùn)學(xué)習(xí)的專業(yè)機(jī)構(gòu),主要培訓(xùn)課程為,嵌入式開(kāi)發(fā)、Java大數(shù)據(jù)、Unity游戲開(kāi)發(fā)、Python人工智能、HTML5前端開(kāi)發(fā)、全棧UI設(shè)計(jì)、網(wǎng)絡(luò)營(yíng)銷、CCIE網(wǎng)絡(luò)等專業(yè)課程