內(nèi)容來源:2018 年 5 月 19 日,閱文集團高級開發(fā)工程師梁晨在“PHPCon China 2018 技術(shù)峰會”進行《TARS-PHP:PHP構(gòu)建高性能RPC框架》演講分享。IT 大咖說(微信id:itdakashuo)作為獨家視頻合作方,經(jīng)主辦方和講者審閱授權(quán)發(fā)布。 閱讀字?jǐn)?shù):3570 | 9分鐘閱讀 摘要 本次分享將介紹高性能RPC框架TARS的基本設(shè)計思想,以及在PHP語言和框架層面的TARS解決方案的設(shè)計與實現(xiàn)。以閱文集團的實踐為例,介紹使用TARS-PHP進行服務(wù)治理以及SWOOLE2.0+PHP7+TARS架構(gòu)所帶來的開發(fā)、運維、性能的全面提升。 獲取嘉賓演講視頻及PPT,掃一掃下方二維碼即可。 TARS TARS是包含運營、平臺、通信框架、公共組件、統(tǒng)一協(xié)議的整套解決方案。上圖是TARS的最新界面,分為服務(wù)管理和運維管理兩部分,服務(wù)管理能夠輕易的管理各種不同的服務(wù),運維管理可以進行部署服務(wù)、擴展以及新建模板管理。這些都是TARS的運營和平臺的能力,除此之外它還內(nèi)置了很多公共組件,以服務(wù)的方式提供,包含常見的配置中心、日志中心、通知中心、特性上報以及主控等等。 TRAS 協(xié)議 TARS使用了一套二進制的協(xié)議,與語言無關(guān)有自己的獨立語法。上面是協(xié)議的基本樣式,其中自定了兩個結(jié)構(gòu)體LoginInfo和ProfileInfo,結(jié)構(gòu)體內(nèi)部可以隨意的組合多個基礎(chǔ)類型。下方的interface聲明的是真正要調(diào)用的接口,它會用到上方定義的結(jié)構(gòu),參數(shù)列表中的out關(guān)鍵字標(biāo)明了輸出Info。這樣我們就有了一份約定的接口文件,之后可以通過工具將它轉(zhuǎn)化為實際使用的代碼,從而方便開發(fā)。 除了二進制協(xié)議之外,我們還設(shè)計了一套通信的協(xié)議,包含協(xié)議版本、請求ID、服務(wù)器路由信息、接口信息、二進制數(shù)據(jù)包。 總的來說TARS是一整套微服務(wù)解決方案。微服務(wù)方面包括服務(wù)自動發(fā)現(xiàn)、智能調(diào)度、容災(zāi)容錯、柔性熔斷、路由與灰度。協(xié)議上即支持私有二進制協(xié)議,也可以通過啟動HTTP服務(wù)來支持json的協(xié)議。目前TARS對多語言已經(jīng)有了很好的支持,同時也兼容一些非常利于使用的運維體系。 TARS PHP 要設(shè)計一套TARS PHP方案首先要滿足幾點要求。第一必須要功能完善,能夠?qū)?biāo)現(xiàn)有C++、Java、NodeJS體系功能;第二要保持整個方案的靈活使用,讓更多的人能夠利用它;第三要是輕量級的設(shè)計,做到點到為止,即插即用;最后是能帶來高效的性能。 上圖為整體方案的構(gòu)成,主要分為4塊。第一塊是TARS client,因為我們最初的需求是用PHP接入到現(xiàn)有C++、Java的TARS服務(wù)。第二塊是TARS Server,這里我們希望能夠盡量的滿足大家的需求,讓一些常見的Server能夠三合一,同時保持靈活和輕量。第三塊是為了能夠提升性能做的TARS EXT擴展,主要負責(zé)底層二進制的解包打包工作。第四塊是開發(fā)效率,TARS體系中基本上針對每種語言都會有相應(yīng)的不管是客戶端還服務(wù)端的自動生成工具。 TARS client TARS client現(xiàn)在具備了以上的這些功能。自動尋址讓你無需關(guān)系服務(wù)地址,只需知道服務(wù)的名字,我們每個服務(wù)都有App name和Server name以及主控,通過主控就能夠知道服務(wù)的具體位置。主調(diào)上報是指所有的服務(wù)運行情況都由client上報,這樣在Server界面中就能一覽服務(wù)的所有情況。我們也提供了遠程日志的能力,而且是只發(fā)不收的形式。接著是3種不同的發(fā)送服務(wù)的能力,分別是socket的接入方式,swoole同步,以及swoole協(xié)程 。 以上是TARS client的整體結(jié)構(gòu)圖。中間為client的Server,它依賴于PHP擴展,左邊是三種訪問方式,右邊是各種服務(wù)。每次請求的時候會先調(diào)用一次主控服務(wù)將列表緩存起來,一般緩存在swoole table或本地文件中。服務(wù)啟動的時候會有定時時間用來決定服務(wù)何時過期。獲取到地址之后進行RPC請求,請求完成后做一次主調(diào)上報,上報范圍包括耗時、失敗率、超時率等,如果有需要的話也可以寫些遠程日志。 TARS client 擴展 PHP擴展的主要是用來保證高性能和穩(wěn)定。由于二進制協(xié)議的字符串操作涉及到很多的內(nèi)存的拷貝和分配,所以我們最初的方案是使用C實現(xiàn),但后來發(fā)現(xiàn)了這種方案有些短板。最終為了性能的考慮引入了PHP擴展,同時將打包解包與編解碼進行集成,降低PHP調(diào)用API的次數(shù)。穩(wěn)定性方面是在每次提交代碼的時候,做多版本構(gòu)建測試,根據(jù)我們線上使用的經(jīng)驗,還增加了Valgrind內(nèi)存測試,目前的代碼測試覆蓋率基本上達到80%。 通過上圖的數(shù)據(jù)對比,可以很清楚的看出PHP擴展帶來的優(yōu)勢。 TARS Server Apache加PHP可能是大家較熟悉的傳統(tǒng)PHP Server模式,后來隨著Nginx的火熱出現(xiàn)了Nginx配合PHP-FPM的形式。不過鑒于性能的優(yōu)勢我們之后轉(zhuǎn)向了swoole,隨著swoole 2.0的推出又帶來了協(xié)程的能力。 我們的Server中包含TARS-HTTP-Server、TARS-TIMER-Server、TARS-TCP-Server。HTTP Server提供一些基礎(chǔ)的功能,TIMER Server會做一些定時任務(wù),TCP Server是為了提供一個高性能的RPC服務(wù)。 Server啟動的時候會進行初始化,解析平臺下發(fā)的配置以及注冊服務(wù),之后會每隔1分鐘向主控進行一次上報告知存活,如果發(fā)現(xiàn)有問題主控會重新將服務(wù)拉起了。TARS也支持在平臺中建立配置下發(fā)到各種服務(wù)中,服務(wù)會自動向TARS Config拉取配置。 TARS TCP Server可以用swoole 1.0和2.0中的任意版本,不過PHP版本必須要求是5.6以上。它在配置方面非常靈活,既可以將swoole的配置通過平臺下發(fā)到服務(wù)上,也可以指定服務(wù)入口。核心實現(xiàn)是基于注解路由,TARS在收到請求的時候會接收到一個包,包中包含調(diào)用的服務(wù)和接口信息,Server在知道這些信息之后會將需要用到的參數(shù)通過預(yù)先生成的方式放在注解中,服務(wù)啟動時會解析這些注解轉(zhuǎn)換成PHP真正調(diào)用的數(shù)組方式。同時我們還提供了一個管理端口,需要額外啟動,用來接收平臺的一些其他管理請求。 對于TARS HTTP Server我們僅實現(xiàn)了個相對簡單的版本,提供各種基礎(chǔ)功能,包括GET/POST請求、Cookie/Status返回、基本路由、文件上傳以及Service Detect。 上圖是我們通過壓測獲得一些數(shù)據(jù)。 開發(fā)效率 開發(fā)效率一直都是TARS需要關(guān)注的問題。從開發(fā)模式來看,首先Server會約定一個協(xié)議表明本次服務(wù)需要提供的接口并生成文件,即圖中的TARS文件。然后TARS2PHP工具會根據(jù)該文件生成服務(wù)端接口代碼和客戶端調(diào)用代碼,之后服務(wù)端會根據(jù)接口代碼來實現(xiàn)實際業(yè)務(wù)邏輯,最后兩邊就可以聯(lián)調(diào)了。整個過程都是解耦的并且不需要花費過多時間進行client調(diào)用。 TARS PHP 在閱文 這里主要介紹下TARS PHP在閱文的應(yīng)用。首先是接入層,它使用的是Nginx配合斯巴達(TARS在我們內(nèi)部的系統(tǒng)),通過斯巴達系統(tǒng)能夠很輕易的實現(xiàn)無縫擴容。為了實現(xiàn)前后端的解耦我們還引入了TARS Node HTTP,將所有的模板渲染都沉淀都nodeJS層。Nginx的AJAX請求之后會到達TARS PHP HTTP,這一層的業(yè)務(wù)并發(fā)在實際場景中大概是2千左右。再往下是微服務(wù)層,我們使用PHP、JAVA做了一些TARS的TCP微服務(wù),它與HTTP的交互是基于TCP異步加協(xié)程的方案。 從實際數(shù)據(jù)來看,目前我們模板拼接的Node HTTP服務(wù)大概有十多個,邏輯API層PHP服務(wù)與定時服務(wù)有40多個,后臺TCP服務(wù)有100多個,每個調(diào)用是億級以上。 模塊化設(shè)計 上圖是目前TARS PHP支持的模塊,這些模塊都可以單獨的使用。Tars server提供了最基本的HTTP、TCP等服務(wù),tars client可以調(diào)用其他tars服務(wù)。tars monitor的監(jiān)控上報包含主調(diào)上報和特性上報。Tars registry模塊可以讓開發(fā)者通過主控通信的方式對地址進行緩存。Tars report的引入讓開發(fā)者能很方便的將自己的框架引入到平臺上,而不使用我們提供的框架。 以上為今天的全部分享內(nèi)容,謝謝大家! IT大咖說 |關(guān)于版權(quán) 感謝您對IT大咖說的熱心支持! |
|