|
在互聯(lián)網(wǎng)大行其道的今天，隨著業(yè)務(wù)的迅猛增長，技術(shù)上我們常常要面對高并發(fā)，大流量。 圖片來自 Pexels 為了實(shí)現(xiàn)高可用，高性能我們采用了很多的技術(shù)手段，負(fù)載均衡就是其中之一。作為外部流量與內(nèi)部應(yīng)用的“接引者”，它占據(jù)了重要的地位。 我們是否了解整個(gè)負(fù)載均衡技術(shù)？它的分類？它的原理？它的特點(diǎn)？今天讓我們一起來漫談負(fù)載均衡吧。 談到負(fù)載均衡，大家都會想到 Nginx，通常我們會用它做應(yīng)用服務(wù)的負(fù)載均衡。 一般它的并發(fā)量在 5W 左右，如果并發(fā)量再高就需要做 Nginx 的集群了。但 Nginx 之上還有一層負(fù)載均衡器，是它把網(wǎng)絡(luò)請求轉(zhuǎn)發(fā)給 Nginx 的，同時(shí)還會肩負(fù)網(wǎng)絡(luò)鏈路，防火墻等工作。 它就是“硬件負(fù)載均衡器”，一般安裝在外部網(wǎng)絡(luò)與內(nèi)網(wǎng)服務(wù)器之間。比較流行的有 NetScaler，F(xiàn)5，Radware，Array 等產(chǎn)品。硬件負(fù)載均衡器在外網(wǎng)和內(nèi)網(wǎng)之間 相對于“硬件負(fù)載均衡器”來說，對內(nèi)網(wǎng)服務(wù)器進(jìn)行負(fù)載均衡就屬于“軟件負(fù)載均衡器”。例如：LVS，HAProxy，Nginx。 硬件負(fù)載均衡工作在“接入層”，主要任務(wù)是多鏈路負(fù)載均衡，防火墻負(fù)載均衡，服務(wù)器負(fù)載均衡。 軟件負(fù)載均衡工作在“代理層”，主要任務(wù)是反向代理，緩存，數(shù)據(jù)驗(yàn)證等等。 
硬件負(fù)載均衡和軟件負(fù)載均衡工作在不同的層 硬件負(fù)載均衡在接入層獲得網(wǎng)絡(luò)請求，然后轉(zhuǎn)交給軟件負(fù)載均衡，用同樣的方式處理返回的請求。 
接入層，代理層，應(yīng)服務(wù)器示意圖 我們知道了負(fù)載均衡分為“硬件負(fù)載均衡”和“軟件負(fù)載均衡”，那么來逐一看看他們是如何工作的吧。 既然前面提到了負(fù)載均衡器的分類，那么我們就來聊聊他們的特點(diǎn)。硬件負(fù)載均衡技術(shù)只專注網(wǎng)絡(luò)判斷，不考慮業(yè)務(wù)系統(tǒng)與應(yīng)用使用的情況。 看上去它對處理網(wǎng)絡(luò)請求是非常專業(yè)的，但有趣的是，如果應(yīng)用服務(wù)出現(xiàn)了流量瓶頸，而“接入層”的硬件負(fù)載均衡沒有發(fā)現(xiàn)異常，還是讓流量繼續(xù)進(jìn)入到應(yīng)用服務(wù)器，并沒有阻止，就會造成應(yīng)用服務(wù)器流量過大。 所以，為了保證高可用，可以在“接入層”和“代理層”同時(shí)考慮限流的問題。 作為硬件負(fù)載均衡器，常在大企業(yè)使用。下面我們以 F5 公司的“F5 BIG-IP”產(chǎn)品為藍(lán)本給大家介紹（下面簡稱 F5）。 實(shí)際上它是一個(gè)集成的結(jié)局方案，對于研發(fā)的同學(xué)來說，主要理解其原理。 上面談到硬件負(fù)載均衡器的作用和特點(diǎn)，它具備哪三大功能？實(shí)現(xiàn)原理又是怎樣的？ ①多鏈路負(fù)載均衡關(guān)鍵業(yè)務(wù)都需要安排和配置多條 ISP（網(wǎng)絡(luò)服務(wù)供應(yīng)商）接入鏈路來保證網(wǎng)絡(luò)服務(wù)的可靠性。 如果某個(gè) ISP 停止服務(wù)或者服務(wù)異常了，那么可以利用另一個(gè) ISP 替代服務(wù)，提高了網(wǎng)絡(luò)的可用性。 不同的 ISP 有不同自治域，因此需要考慮兩種情況： INBOUND，來自網(wǎng)絡(luò)的請求信息。F5 分別綁定兩個(gè) ISP 服務(wù)商的公網(wǎng)地址，解析來自兩個(gè) ISP 服務(wù)商的 DNS 解析請求。 F5 可以根據(jù)服務(wù)器狀況和響應(yīng)情況對 DNS 進(jìn)行發(fā)送，也可以通過多條鏈路分別建立 DNS 連接。 OUTBOUND，返回給請求者的應(yīng)答信息。F5 可以將流量分配到不同的網(wǎng)絡(luò)接口，并做源地址的 NAT（網(wǎng)絡(luò)地址轉(zhuǎn)換），即通過 IP 地址轉(zhuǎn)換為源請求地址。 也可以用接口地址自動映射，保證數(shù)據(jù)包返回時(shí)能夠被源頭正確接收。多路負(fù)載的方式增強(qiáng)了網(wǎng)絡(luò)接入層的可靠性 ②防火墻負(fù)載均衡針對大量網(wǎng)絡(luò)請求的情況，單一防火墻的能力就有限了，而且防火墻本身要求數(shù)據(jù)同進(jìn)同出，為了解決多防火墻負(fù)載均衡的問題，F(xiàn)5 提出了防火墻負(fù)載均衡的“防火墻三明治'方案。 防火墻會對用戶會話的雙向數(shù)據(jù)流進(jìn)行監(jiān)控，從而確定數(shù)據(jù)的合法性。如果采取多臺防火墻進(jìn)行負(fù)載均衡，有可能會造成同一個(gè)用戶會話的雙向數(shù)據(jù)在多臺防火墻上都進(jìn)行處理。 而單個(gè)防火墻上看不到完成用戶會話的信息，就會認(rèn)為數(shù)據(jù)非法因此拋棄數(shù)據(jù)。 所以在每個(gè)防火墻的兩端要架設(shè)四層交換機(jī)，可以在作流量分發(fā)的同時(shí)，維持用戶會話的完整性，使同一用戶的會話由一個(gè)防火墻來處理。而這種場景就需要 F5 負(fù)載均衡器協(xié)助才能完成轉(zhuǎn)發(fā)。 有趣的是，F(xiàn)5 協(xié)調(diào)上述方案的配置和實(shí)現(xiàn)后，會把“交換機(jī)”，“防火墻”，“交換機(jī)”夾在了一起好像三明治一樣。防火墻“三明治” ③服務(wù)器負(fù)載均衡在硬件負(fù)載均衡器掛接多個(gè)應(yīng)用服務(wù)器時(shí)，需要為這些服務(wù)做負(fù)載均衡，根據(jù)規(guī)則，讓請求發(fā)送到服務(wù)器上去： 對于服務(wù)器的負(fù)載均衡的前提是，服務(wù)器都提供同樣的服務(wù)，也就是同樣的業(yè)務(wù)同時(shí)部署在多個(gè)服務(wù)器上。 對于應(yīng)用服務(wù)器可以在 F5 上配置并且實(shí)現(xiàn)負(fù)載均衡，F(xiàn)5 可以檢查服務(wù)器的健康狀態(tài)，如果發(fā)現(xiàn)故障，將其從負(fù)載均衡組中移除。 F5 對于外網(wǎng)而言有一個(gè)真實(shí)的 IP，對于內(nèi)網(wǎng)的每個(gè)服務(wù)器都生成一個(gè)虛擬 IP，進(jìn)行負(fù)載均衡和管理工作。因此,它能夠?yàn)榇罅康幕?TCP/IP 的網(wǎng)絡(luò)應(yīng)用提供服務(wù)器負(fù)載均衡服務(wù)。 根據(jù)服務(wù)類型不同定義不同的服務(wù)器群組。 根據(jù)不同服務(wù)端口將流量導(dǎo)向?qū)?yīng)的服務(wù)器。甚至可以對 VIP 用戶的請求進(jìn)行特殊的處理，把這類請求導(dǎo)入到高性能的服務(wù)器使 VIP 客戶得到最好的服務(wù)響應(yīng)。 根據(jù)用戶訪問內(nèi)容的不同將流量導(dǎo)向指定服務(wù)器。
聊完了硬件負(fù)載均衡器的特點(diǎn)和功能以后，讓我們來總結(jié)一下它的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：直接連接交換機(jī)，處理網(wǎng)絡(luò)請求能力強(qiáng)，與系統(tǒng)無關(guān)，負(fù)載性能強(qiáng)?？梢詰?yīng)用于大量設(shè)施，適應(yīng)大訪問量、使用簡單。 缺點(diǎn)：成本高，配置冗余。即使網(wǎng)絡(luò)請求分發(fā)到服務(wù)器集群，負(fù)載均衡設(shè)施卻是單點(diǎn)配置；無法有效掌握服務(wù)器及應(yīng)使用狀態(tài)。
說完硬件負(fù)載均衡，再來談?wù)勡浖?fù)載均衡。軟件負(fù)載均衡是指在一臺或多臺服務(wù)器的操作系統(tǒng)上安裝一個(gè)或多個(gè)軟件來實(shí)現(xiàn)負(fù)載均衡。它的優(yōu)點(diǎn)是基于特定環(huán)境，配置簡單，使用靈活，成本低廉，可以滿足一般的負(fù)載均衡需求。代理層通常起到承上啟下的作用，上連“接入層”，下接應(yīng)用服務(wù)器（上游服務(wù)器），可以做反向代理，緩存，數(shù)據(jù)驗(yàn)證，限流。本文會一一為各位介紹。目前市面上比較流行的軟件負(fù)載均衡有 LVS，HAProxy，Ngnix。由于篇幅有限我們通過應(yīng)用廣泛的 Nginx 為切入點(diǎn)，給大家講解，之后會把上面三類軟件進(jìn)行一個(gè)對比。對于程序員來說，接觸最多的就是軟件負(fù)載均衡。不僅要知道如何使用，同時(shí)也要了解背后的原理，下面列舉了其最常用到的 4 大功能。①反向代理與負(fù)載均衡第一個(gè)功能是反向代理與負(fù)載均衡，如下圖：
客戶端是如何把請求發(fā)送到應(yīng)用服務(wù)器的客戶端把請求發(fā)送到應(yīng)用服務(wù)器有如下幾個(gè)步驟：客戶端請求 URL 給 DNS。 DNS 將 URL 轉(zhuǎn)化成對應(yīng)的 IP。 通過 IP 找到服務(wù)器。 服務(wù)器接受到請求的報(bào)文，轉(zhuǎn)交給接入層處理，接入層由于采用了硬件負(fù)載均衡器，所以能夠扛住大數(shù)據(jù)量。 接入層把報(bào)文再次轉(zhuǎn)交給代理層（并發(fā) 5W），代理層的 Nginx 收到報(bào)文再根據(jù)反向代理的策略發(fā)送給上游服務(wù)器（應(yīng)用服務(wù)器）。
負(fù)載均衡的算法/策略實(shí)際上負(fù)載均衡的算法是很多的，這里以 Nginx 為例，介紹五種算法：Round-Robin：輪詢算法，默認(rèn)算法。對上游的服務(wù)器進(jìn)行挨個(gè)輪詢，這個(gè)算法是可以配合 Weight（權(quán)重）來實(shí)現(xiàn)的。 Weight：權(quán)重算法，給應(yīng)用服務(wù)器設(shè)置 Weight 的值。Weight 默認(rèn)值為 1，Weight 參數(shù)越大被訪問的幾率越大?？梢愿鶕?jù)服務(wù)器的配置和資源情況配置 Weight 值，讓資源情況樂觀的服務(wù)器承擔(dān)更多的訪問量。 IP-Hash：這個(gè)算法可以根據(jù)用戶 IP 進(jìn)行負(fù)載均衡，同一 IP 的用戶端請求報(bào)文是會被同一臺上游服務(wù)器響應(yīng)的。也就是讓同一客戶端的回話（Session）保持一致。 Least_conn：把請求轉(zhuǎn)發(fā)給連接數(shù)較少的后端服務(wù)器。輪詢算法是把請求平均的轉(zhuǎn)發(fā)給各個(gè)后端，使它們的負(fù)載大致相同；但是，有些請求占用的時(shí)間很長，會導(dǎo)致其所在的后端負(fù)載較高。這種情況下，Least_conn 這種方式就可以達(dá)到更好的負(fù)載均衡效果。 Hash Key：這個(gè)算法是對 Hash 算法的補(bǔ)充，主要是考慮當(dāng)出現(xiàn)上游服務(wù)器增加/刪除的情況，請求無法正確的被同一服務(wù)器處理。 所以對每個(gè)請求都設(shè)置 Hash Key，這樣就算服務(wù)器發(fā)生了變化，Key 的值沒有變，也可以找到對應(yīng)的服務(wù)器。
②動態(tài)負(fù)載均衡一般上游服務(wù)器都采用微服務(wù)的架構(gòu)，那么負(fù)載均衡會把數(shù)據(jù)報(bào)發(fā)給哪個(gè)服務(wù)呢？如果服務(wù)出現(xiàn)了問題如何通知負(fù)載均衡器呢？有新的服務(wù)注冊怎么辦呢？
微服務(wù)首先會注冊到“服務(wù)注冊發(fā)現(xiàn)”中心（Consul，Eureka）。注冊中心包含微服務(wù)的信息，Nginx 會定期從這里拉取服務(wù)信息（Lua）。獲取微服務(wù)信息以后，Nginx 收到數(shù)據(jù)報(bào)的時(shí)候，就可以從注冊中心獲取的服務(wù)地址，把信息傳遞給服務(wù)了。③限流限流的工作可以在接入層用硬件負(fù)載均衡器來完成，也可以在代理層來完成。限流實(shí)際上就是限制流入請求的數(shù)量，其算法不少，有令牌桶算法，漏桶算法，連接數(shù)限制等等。這里我們就介紹三個(gè)常用的。一般通過 Nignx+Lua 來實(shí)現(xiàn)。連接數(shù)限流：通過 ngx_http_limit_conn_module 模塊實(shí)現(xiàn)。設(shè)置最大的連接數(shù)以及共享內(nèi)存的區(qū)域大小，請求的時(shí)候判斷是否超過了最大連接數(shù)。如果超過最大連接數(shù)就被限流，否則針對連接數(shù)就 +1，請求結(jié)束以后會將連接數(shù) -1。漏桶算法：通過 ngx_http_limit_req_module 模塊實(shí)現(xiàn)。一個(gè)固定容量的桶，數(shù)據(jù)報(bào)按照固定的速度流出。數(shù)據(jù)報(bào)可以按照任意的速度流入桶中，如果數(shù)據(jù)報(bào)的容量超過了桶的容量，再流入的數(shù)據(jù)報(bào)將會被丟棄。按照這個(gè)規(guī)則，需要設(shè)置限流的區(qū)域以及桶的容量，以及是否延遲。 
令牌桶算法，桶的大小是固定的，以固定的速度往桶里丟令牌。桶滿了后，后面添加的令牌無法添加。數(shù)據(jù)報(bào)到來時(shí)從桶中取令牌，如果桶中有令牌，憑借令牌處理請求，處理完畢令牌銷毀；數(shù)據(jù)報(bào)到來時(shí)發(fā)現(xiàn)桶中沒令牌，該請求將被拒絕。請求在發(fā)往令牌桶之前需要經(jīng)過過濾/分類器，可以對報(bào)文進(jìn)行分類，例如：某類報(bào)文可以直接發(fā)往應(yīng)用服務(wù)器，某類報(bào)文需要經(jīng)過令牌桶獲取令牌以后才能發(fā)。又例如：VIP 就可以直接把請求發(fā)往服務(wù)器，用不著經(jīng)過令牌桶。 
④緩存
接入層發(fā)送請求，如果能夠在 Nginx 本地緩存命中，直接返回緩存數(shù)據(jù)，如果沒有命中回源到應(yīng)用服務(wù)器。緩存更新服務(wù)器定時(shí)更新 Nginx 本地緩存信息。這些需要考慮數(shù)據(jù)的一致性，何時(shí)更新以及何時(shí)失效等情況。Nginx 緩存可以大大提高請求響應(yīng)時(shí)間，可以把不經(jīng)常更改的信息，例如：用戶信息，提前放入緩存中，每次請求就不用再去請求應(yīng)用服務(wù)器了。一旦用戶信息更新，可以按照一定時(shí)鐘頻率寫入緩存中。另外，一般 HTTPHEAD 中都帶有一些信息更新的信息。Nginx 也可以通過 expires，etag，if-modified-since 來實(shí)現(xiàn)瀏覽器緩存的控制。其他的幾個(gè)功能如下： 客戶端超時(shí)重試 DNS 超時(shí)重試 代理超時(shí)重試 失敗重試 心跳檢測 配置上有服務(wù)器
目前比較流行的有 LVS，Nginx 和 HAProxy，逐個(gè)看看他們的特點(diǎn)。LVS（Linux Virtual Server） 是使用 Linux 內(nèi)核集群實(shí)現(xiàn)的一個(gè)高性能、高可用的負(fù)載均衡服務(wù)器，它具有很好的可伸縮性（Scalability)、可靠性（Reliability)和可管理性（Manageability)。
HAProxy 實(shí)現(xiàn)了一種事件驅(qū)動, 單一進(jìn)程模型，此模型支持非常大的并發(fā)連接數(shù)。多進(jìn)程或多線程模型受內(nèi)存限制 、系統(tǒng)調(diào)度器限制以及無處不在的鎖限制，很少能處理數(shù)千并發(fā)連接。支持虛擬主機(jī)。 支持 Session 保持，Cookie 引導(dǎo)。 通過指定的 URL 來檢測應(yīng)用服務(wù)器的狀態(tài)。 支持 TCP/HTTP 協(xié)議轉(zhuǎn)發(fā)。
Nginx 是一款輕量級的 Web 服務(wù)器/反向代理服務(wù)器及電子郵件（IMAP/POP3）代理服務(wù)器，并在一個(gè) BSD-like 協(xié)議下發(fā)行。工作在網(wǎng)絡(luò)的 4/7 層，對 HTTP 應(yīng)用做負(fù)載均衡策略，如：域名、目錄結(jié)構(gòu)。 對網(wǎng)絡(luò)的穩(wěn)定性依賴小，可以區(qū)分內(nèi)網(wǎng)和外網(wǎng)的訪問。 安裝和配置相對簡單。 能承受很高負(fù)載且穩(wěn)定，處理的流量依賴于按照 Nginx 服務(wù)器的配置。 可以檢測服務(wù)器的問題，可以對服務(wù)器返回的信息進(jìn)行處理和過濾，避免讓無法工作的服務(wù)器響應(yīng)請求。 對請求可以進(jìn)行異步處理。 支持 HTTP、HTTPS 和 EMAIL。
網(wǎng)絡(luò)負(fù)載均衡的技術(shù)選型 既然上面對軟/硬件負(fù)載均衡有了總體的了解，那么按照“技術(shù)服務(wù)業(yè)務(wù)”的原則，在業(yè)務(wù)發(fā)展的不同階段，如何使用這兩類負(fù)載均衡技術(shù)呢？企業(yè)業(yè)務(wù)從 0 到 1，從無到有，數(shù)據(jù)量和訪問量都不大。Nginx 或 HAProxy 進(jìn)行單點(diǎn)的負(fù)載均衡就已經(jīng)足夠了。這階段剛剛采用多臺應(yīng)用服務(wù)器、數(shù)據(jù)庫，需要一定的負(fù)載均衡做支撐。由于業(yè)務(wù)量不大，所以沒有專業(yè)的維護(hù)團(tuán)隊(duì)來維護(hù)，也沒有大規(guī)模的網(wǎng)站部署的需求。因此 Nginx 或 HAproxy 是第一選擇，因?yàn)槠渖鲜挚欤?配置容易，在七層之上利用 HTTP 協(xié)議就能滿足要求了。隨著業(yè)務(wù)量增大，用戶訪問和交易量也在逐步增加，這時(shí)單點(diǎn)的 Nginx 或 HAProxy 已經(jīng)無法滿足之前的需求了。使用 LVS 或者硬件負(fù)載均衡（F5/Array）就是架構(gòu)師需要考慮的問題了，Nginx 此時(shí)就作為 LVS 或者硬件負(fù)載均衡（F5/Array）的節(jié)點(diǎn)來處理。軟件負(fù)載均衡+硬件負(fù)載均衡的架構(gòu)配置在這個(gè)階段就需要考慮了，也是對架構(gòu)設(shè)計(jì)者的挑戰(zhàn)。隨著公司業(yè)務(wù)擴(kuò)張到達(dá)頂峰，之前的網(wǎng)絡(luò)服務(wù)已經(jīng)升級成主流服務(wù)產(chǎn)品，需要考慮在開源產(chǎn)品上進(jìn)行業(yè)務(wù)定制，所以開源的 LVS，已經(jīng)成為首選。其在深度定制之后依舊會和硬件負(fù)載均衡器配合完成業(yè)務(wù)服務(wù)。今天內(nèi)容比較多，總結(jié)下來，三句話：- 硬件和軟件負(fù)載均衡，分別工作在“接入層”和“代理層”。
- 一個(gè)專注于網(wǎng)絡(luò)，負(fù)責(zé)多鏈路，防火墻以及服務(wù)器的負(fù)載均衡，例如：F5 BIG-IP。
- 另一個(gè)偏向于業(yè)務(wù)，主要功能是反向代理，動態(tài)代理，緩存，限流，例如：LVS，Nginx，HAProxy。
|
