一、軟件負載均衡概述
硬件負載均衡性能優(yōu)越，功能全面，但是價(jià)格昂貴，一般適合初期或者土豪級公司長(cháng)期使用。因此軟件負載均衡在互聯(lián)網(wǎng)領(lǐng)域大量使用。常用的軟件負載均衡軟件有Nginx，Lvs，HaProxy等。本文參考大量文檔，部分為直接拷貝，參考出處見(jiàn)負載均衡詳解（4）。
二、Ngnix負載均衡
Ngnix是一款輕量級的Web服務(wù)器/反向代理服務(wù)器，工作在七層Http協(xié)議的負載均衡系統。具有高性能、高并發(fā)、低內存使用等特點(diǎn)。是一個(gè)輕量級的Http和反向代理服務(wù)器。Nginx使用epoll and kqueue作為開(kāi)發(fā)模型。能夠支持高達 50,000 個(gè)并發(fā)連接數的響應。
操作系統：Liunx，Windows（Linux、FreeBSD、Solaris、Mac OS X、AIX以及Microsoft Windows）
開(kāi)發(fā)語(yǔ)言：C
并發(fā)性能：官方支持每秒5萬(wàn)并發(fā)，實(shí)際國內一般到每秒2萬(wàn)并發(fā)，有優(yōu)化到每秒10萬(wàn)并發(fā)的。具體性能看應用場(chǎng)景。
2.1.特點(diǎn)
1.模塊化設計：良好的擴展性，可以通過(guò)模塊方式進(jìn)行功能擴展。
2.高可靠性：主控進(jìn)程和worker是同步實(shí)現的，一個(gè)worker出現問(wèn)題，會(huì )立刻啟動(dòng)另一個(gè)worker。
3.內存消耗低：一萬(wàn)個(gè)長(cháng)連接（keep-alive）,僅消耗2.5MB內存。
4.支持熱部署：不用停止服務(wù)器，實(shí)現更新配置文件，更換日志文件、更新服務(wù)器程序版本。
5.并發(fā)能力強：官方數據每秒支持5萬(wàn)并發(fā)；
6.功能豐富：優(yōu)秀的反向代理功能和靈活的負載均衡策略
2.2.功能
2.2.1基本功能
支持靜態(tài)資源的web服務(wù)器。
http,smtp,pop3協(xié)議的反向代理服務(wù)器、緩存、負載均衡；
支持FASTCGI（fpm）
支持模塊化，過(guò)濾器（讓文本可以實(shí)現壓縮，節約帶寬）,ssl及圖像大小調整。
內置的健康檢查功能
基于名稱(chēng)和ip的虛擬主機
定制訪(fǎng)問(wèn)日志
支持平滑升級
支持KEEPALIVE
支持url rewrite
支持路徑別名
支持基于IP和用戶(hù)名的訪(fǎng)問(wèn)控制。
支持傳輸速率限制，支持并發(fā)數限制。
2.2.2擴展功能
2.2.3性能
Nginx的高并發(fā)，官方測試支持5萬(wàn)并發(fā)連接。實(shí)際生產(chǎn)環(huán)境能到2-3萬(wàn)并發(fā)連接數。10000個(gè)非活躍的HTTP keep-alive 連接僅占用約2.5MB內存。三萬(wàn)并發(fā)連接下，10個(gè)Nginx進(jìn)程，消耗內存150M。淘寶tengine團隊測試結果是“24G內存機器上，處理并發(fā)請求可達200萬(wàn)”。
2.3架構
2.3.1Nginx的基本工作模式
一個(gè)master進(jìn)程，生成一個(gè)或者多個(gè)worker進(jìn)程。但是這里master是使用root身份啟動(dòng)的，因為nginx要工作在80端口。而只有管理員才有權限啟動(dòng)小于低于1023的端口。master主要是負責的作用只是啟動(dòng)worker，加載配置文件，負責系統的平滑升級。其它的工作是交給worker。那么當worker被啟動(dòng)之后，也只是負責一些web最簡(jiǎn)單的工作，而其他的工作都是有worker中調用的模塊來(lái)實(shí)現的。
模塊之間是以流水線(xiàn)的方式實(shí)現功能的。流水線(xiàn)，指的是一個(gè)用戶(hù)請求，由多個(gè)模塊組合各自的功能依次實(shí)現完成的。比如：第一個(gè)模塊只負責分析請求首部，第二個(gè)模塊只負責查找數據，第三個(gè)模塊只負責壓縮數據，依次完成各自工作。來(lái)實(shí)現整個(gè)工作的完成。
他們是如何實(shí)現熱部署的呢？其實(shí)是這樣的，我們前面說(shuō)master不負責具體的工作，而是調用worker工作，他只是負責讀取配置文件，因此當一個(gè)模塊修改或者配置文件發(fā)生變化，是由master進(jìn)行讀取，因此此時(shí)不會(huì )影響到worker工作。在master進(jìn)行讀取配置文件之后，不會(huì )立即的把修改的配置文件告知worker。而是讓被修改的worker繼續使用老的配置文件工作，當worker工作完畢之后，直接當掉這個(gè)子進(jìn)程，更換新的子進(jìn)程，使用新的規則。
2.3.2Nginx支持的sendfile機制
Sendfile機制，用戶(hù)將請求發(fā)給內核，內核根據用戶(hù)的請求調用相應用戶(hù)進(jìn)程，進(jìn)程在處理時(shí)需要資源。此時(shí)再把請求發(fā)給內核（進(jìn)程沒(méi)有直接IO的能力），由內核加載數據。內核查找到數據之后，會(huì )把數據復制給用戶(hù)進(jìn)程，由用戶(hù)進(jìn)程對數據進(jìn)行封裝，之后交給內核，內核在進(jìn)行tcp/ip首部的封裝，最后再發(fā)給客戶(hù)端。這個(gè)功能用戶(hù)進(jìn)程只是發(fā)生了一個(gè)封裝報文的過(guò)程，卻要繞一大圈。因此nginx引入了sendfile機制，使得內核在接受到數據之后，不再依靠用戶(hù)進(jìn)程給予封裝，而是自己查找自己封裝，減少了一個(gè)很長(cháng)一段時(shí)間的浪費，這是一個(gè)提升性能的核心點(diǎn)。
以上內容摘自網(wǎng)友發(fā)布的文章，簡(jiǎn)單一句話(huà)是資源的處理，直接通過(guò)內核層進(jìn)行數據傳遞，避免了數據傳遞到應用層，應用層再傳遞到內核層的開(kāi)銷(xiāo)。
目前高并發(fā)的處理，一般都采用sendfile模式。通過(guò)直接操作內核層數據，減少應用與內核層數據傳遞。
2.3.3Nginx通信模型（I/O復用機制）
開(kāi)發(fā)模型：epoll和kqueue。
支持的事件機制：kqueue、epoll、rt signals、/dev/poll 、event ports、select以及poll。
支持的kqueue特性包括EV_CLEAR、EV_DISABLE、NOTE_LOWAT、EV_EOF，可用數據的數量，錯誤代碼.
支持sendfile、sendfile64和sendfilev;文件AIO；DIRECTIO;支持Accept-filters和TCP_DEFER_ACCEP.
以上概念較多，大家自行百度或谷歌，知識領(lǐng)域是網(wǎng)絡(luò )通信（BIO,NIO,AIO）和多線(xiàn)程方面的知識。
2.4均衡策略
nginx的負載均衡策略可以劃分為兩大類(lèi)：內置策略和擴展策略。內置策略包含加權輪詢(xún)和ip hash，在默認情況下這兩種策略會(huì )編譯進(jìn)nginx內核，只需在nginx配置中指明參數即可。擴展策略有很多，如fair、通用hash、consistent hash等，默認不編譯進(jìn)nginx內核。由于在nginx版本升級中負載均衡的代碼沒(méi)有本質(zhì)性的變化，因此下面將以nginx1.0.15穩定版為例，從源碼角度分析各個(gè)策略。
2.4.1. 加權輪詢(xún)（weighted round robin）
輪詢(xún)的原理很簡(jiǎn)單，首先我們介紹一下輪詢(xún)的基本流程。如下是處理一次請求的流程圖：
圖中有兩點(diǎn)需要注意，第一，如果可以把加權輪詢(xún)算法分為先深搜索和先廣搜索，那么nginx采用的是先深搜索算法，即將首先將請求都分給高權重的機器，直到該機器的權值降到了比其他機器低，才開(kāi)始將請求分給下一個(gè)高權重的機器；第二，當所有后端機器都down掉時(shí)，nginx會(huì )立即將所有機器的標志位清成初始狀態(tài)，以避免造成所有的機器都處在timeout的狀態(tài)，從而導致整個(gè)前端被夯住。
2.4.2. ip hash
ip hash是nginx內置的另一個(gè)負載均衡的策略，流程和輪詢(xún)很類(lèi)似，只是其中的算法和具體的策略有些變化，如下圖所示：
2.4.3. fair
fair策略是擴展策略，默認不被編譯進(jìn)nginx內核。其原理是根據后端服務(wù)器的響應時(shí)間判斷負載情況，從中選出負載最輕的機器進(jìn)行分流。這種策略具有很強的自適應性，但是實(shí)際的網(wǎng)絡(luò )環(huán)境往往不是那么簡(jiǎn)單，因此要慎用。
2.4.4 通用hash、一致性hash
這兩種也是擴展策略，在具體的實(shí)現上有些差別，通用hash比較簡(jiǎn)單，可以以nginx內置的變量為key進(jìn)行hash，一致性hash采用了nginx內置的一致性hash環(huán)，可以支持memcache。
2.5場(chǎng)景
Ngnix一般作為入口負載均衡或內部負載均衡，結合反向代理服務(wù)器使用。以下架構示例，僅供參考，具體使用根據場(chǎng)景而定。
2.5.1入口負載均衡架構
Ngnix服務(wù)器在用戶(hù)訪(fǎng)問(wèn)的最前端。根據用戶(hù)請求再轉發(fā)到具體的應用服務(wù)器或二級負載均衡服務(wù)器（LVS）
2.5.2內部負載均衡架構
LVS作為入口負載均衡，將請求轉發(fā)到二級Ngnix服務(wù)器，Ngnix再根據請求轉發(fā)到具體的應用服務(wù)器。
2.5.3Ngnix高可用
分布式系統中，應用只部署一臺服務(wù)器會(huì )存在單點(diǎn)故障，負載均衡同樣有類(lèi)似的問(wèn)題。一般可采用主備或負載均衡設備集群的方式節約單點(diǎn)故障或高并發(fā)請求分流。
Ngnix高可用，至少包含兩個(gè)Ngnix服務(wù)器，一臺主服務(wù)器，一臺備服務(wù)器，之間使用Keepalived做健康監控和故障檢測。開(kāi)放VIP端口，通過(guò)防火墻進(jìn)行外部映射。
DNS解析公網(wǎng)的IP實(shí)際為VIP。
三、LVS負載均衡
LVS是一個(gè)開(kāi)源的軟件，由畢業(yè)于國防科技大學(xué)的章文嵩博士于1998年5月創(chuàng )立，用來(lái)實(shí)現Linux平臺下的簡(jiǎn)單負載均衡。LVS是Linux Virtual Server的縮寫(xiě)，意思是Linux虛擬服務(wù)器。
基于IP層的負載均衡調度技術(shù)，它在操作系統核心層上，將來(lái)自IP層的TCP/UDP請求均衡地轉移到不同的 服務(wù)器，從而將一組服務(wù)器構成一個(gè)高性能、高可用的虛擬服務(wù)器。
操作系統：Liunx
開(kāi)發(fā)語(yǔ)言：C
并發(fā)性能：默認4096，可以修改但需要重新編譯。
3.1.功能
LVS的主要功能是實(shí)現IP層（網(wǎng)絡(luò )層）負載均衡，有NAT,TUN,DR三種請求轉發(fā)模式。
3.1.1LVS/NAT方式的負載均衡集群
NAT是指Network Address Translation，它的轉發(fā)流程是：Director機器收到外界請求，改寫(xiě)數據包的目標地址，按相應的調度算法將其發(fā)送到相應Real Server上，Real Server處理完該請求后，將結果數據包返回到其默認網(wǎng)關(guān)，即Director機器上，Director機器再改寫(xiě)數據包的源地址，最后將其返回給外界。這樣就完成一次負載調度。
構架一個(gè)最簡(jiǎn)單的LVS/NAT方式的負載均衡集群Real Server可以是任何的操作系統，而且無(wú)需做任何特殊的設定，惟一要做的就是將其默認網(wǎng)關(guān)指向Director機器。Real Server可以使用局域網(wǎng)的內部IP(192.168.0.0/24)。Director要有兩塊網(wǎng)卡，一塊網(wǎng)卡綁定一個(gè)外部IP地址 (10.0.0.1)，另一塊網(wǎng)卡綁定局域網(wǎng)的內部IP(192.168.0.254)，作為Real Server的默認網(wǎng)關(guān)。
LVS/NAT方式實(shí)現起來(lái)最為簡(jiǎn)單，而且Real Server使用的是內部IP，可以節省Real IP的開(kāi)銷(xiāo)。但因為執行NAT需要重寫(xiě)流經(jīng)Director的數據包，在速度上有一定延遲；
當用戶(hù)的請求非常短，而服務(wù)器的回應非常大的情況下，會(huì )對Director形成很大壓力，成為新的瓶頸，從而使整個(gè)系統的性能受到限制。
3.1.2LVS/TUN方式的負載均衡集群
TUN是指IP Tunneling，它的轉發(fā)流程是：Director機器收到外界請求，按相應的調度算法,通過(guò)IP隧道發(fā)送到相應Real Server，Real Server處理完該請求后，將結果數據包直接返回給客戶(hù)。至此完成一次負載調度。
最簡(jiǎn)單的LVS/TUN方式的負載均衡集群架構使用IP Tunneling技術(shù)，在Director機器和Real Server機器之間架設一個(gè)IP Tunnel，通過(guò)IP Tunnel將負載分配到Real Server機器上。Director和Real Server之間的關(guān)系比較松散，可以是在同一個(gè)網(wǎng)絡(luò )中，也可以是在不同的網(wǎng)絡(luò )中，只要兩者能夠通過(guò)IP Tunnel相連就行。收到負載分配的Real Server機器處理完后會(huì )直接將反饋數據送回給客戶(hù)，而不必通過(guò)Director機器。實(shí)際應用中，服務(wù)器必須擁有正式的IP地址用于與客戶(hù)機直接通信，并且所有服務(wù)器必須支持IP隧道協(xié)議。
該方式中Director將客戶(hù)請求分配到不同的Real Server，Real Server處理請求后直接回應給用戶(hù)，這樣Director就只處理客戶(hù)機與服務(wù)器的一半連接，極大地提高了Director的調度處理能力，使集群系統能容納更多的節點(diǎn)數。另外TUN方式中的Real Server可以在任何LAN或WAN上運行，這樣可以構筑跨地域的集群，其應對災難的能力也更強，但是服務(wù)器需要為IP封裝付出一定的資源開(kāi)銷(xiāo)，而且后端的Real Server必須是支持IP Tunneling的操作系統。
3.3.3LVS/TUN方式的負載均衡集群
DR是指Direct Routing，它的轉發(fā)流程是：Director機器收到外界請求，按相應的調度算法將其直接發(fā)送到相應Real Server，Real Server處理完該請求后，將結果數據包直接返回給客戶(hù)，完成一次負載調度。
構架一個(gè)最簡(jiǎn)單的LVS/DR方式的負載均衡集群Real Server和Director都在同一個(gè)物理網(wǎng)段中，Director的網(wǎng)卡IP是192.168.0.253，再綁定另一個(gè)IP： 192.168.0.254作為對外界的virtual IP，外界客戶(hù)通過(guò)該IP來(lái)訪(fǎng)問(wèn)整個(gè)集群系統。Real Server在lo上綁定IP：192.168.0.254，同時(shí)加入相應的路由。
LVS/DR方式與前面的LVS/TUN方式有些類(lèi)似，前臺的Director機器也是只需要接收和調度外界的請求，而不需要負責返回這些請求的反饋結果，所以能夠負載更多的Real Server，提高Director的調度處理能力，使集群系統容納更多的Real Server。但LVS/DR需要改寫(xiě)請求報文的MAC地址，所以所有服務(wù)器必須在同一物理網(wǎng)段內。
3.3架構
LVS架設的服務(wù)器集群系統有三個(gè)部分組成：最前端的負載均衡層（Loader Balancer），中間的服務(wù)器群組層，用Server Array表示，最底層的數據共享存儲層，用Shared Storage表示。在用戶(hù)看來(lái)所有的應用都是透明的，用戶(hù)只是在使用一個(gè)虛擬服務(wù)器提供的高性能服務(wù)。
LVS的體系架構如圖：
LVS的各個(gè)層次的詳細介紹：
Load Balancer層：位于整個(gè)集群系統的最前端，有一臺或者多臺負載調度器（Director Server）組成，LVS模塊就安裝在Director Server上，而Director的主要作用類(lèi)似于一個(gè)路由器，它含有完成LVS功能所設定的路由表，通過(guò)這些路由表把用戶(hù)的請求分發(fā)給Server Array層的應用服務(wù)器（Real Server）上。同時(shí)，在Director Server上還要安裝對Real Server服務(wù)的監控模塊Ldirectord，此模塊用于監測各個(gè)Real Server服務(wù)的健康狀況。在Real Server不可用時(shí)把它從LVS路由表中剔除，恢復時(shí)重新加入。
Server Array層：由一組實(shí)際運行應用服務(wù)的機器組成，Real Server可以是WEB服務(wù)器、MAIL服務(wù)器、FTP服務(wù)器、DNS服務(wù)器、視頻服務(wù)器中的一個(gè)或者多個(gè)，每個(gè)Real Server之間通過(guò)高速的LAN或分布在各地的WAN相連接。在實(shí)際的應用中，Director Server也可以同時(shí)兼任Real Server的角色。
Shared Storage層：是為所有Real Server提供共享存儲空間和內容一致性的存儲區域，在物理上，一般有磁盤(pán)陣列設備組成，為了提供內容的一致性，一般可以通過(guò)NFS網(wǎng)絡(luò )文件系統共享數 據，但是NFS在繁忙的業(yè)務(wù)系統中，性能并不是很好，此時(shí)可以采用集群文件系統，例如Red hat的GFS文件系統，oracle提供的OCFS2文件系統等。
從整個(gè)LVS結構可以看出，Director Server是整個(gè)LVS的核心，目前，用于Director Server的操作系統只能是Linux和FreeBSD，linux2.6內核不用任何設置就可以支持LVS功能，而FreeBSD作為 Director Server的應用還不是很多，性能也不是很好。對于Real Server，幾乎可以是所有的系統平臺，Linux、windows、Solaris、AIX、BSD系列都能很好的支持。
3.4均衡策略
LVS默認支持八種負載均衡策略，簡(jiǎn)述如下：
3.4.1.輪詢(xún)調度（Round Robin）
調度器通過(guò)“輪詢(xún)”調度算法將外部請求按順序輪流分配到集群中的真實(shí)服務(wù)器上，它均等地對待每一臺服務(wù)器，而不管服務(wù)器上實(shí)際的連接數和系統負載。
3.4.2.加權輪詢(xún)（Weighted Round Robin）
調度器通過(guò)“加權輪詢(xún)”調度算法根據真實(shí)服務(wù)器的不同處理能力來(lái)調度訪(fǎng)問(wèn)請求。這樣可以保證處理能力強的服務(wù)器能處理更多的訪(fǎng)問(wèn)流量。調度器可以自動(dòng)問(wèn)詢(xún)真實(shí)服務(wù)器的負載情況，并動(dòng)態(tài)地調整其權值。
3.4.3.最少鏈接（Least Connections）
調度器通過(guò)“最少連接”調度算法動(dòng)態(tài)地將網(wǎng)絡(luò )請求調度到已建立的鏈接數最少的服務(wù)器上。如果集群系統的真實(shí)服務(wù)器具有相近的系統性能，采用“最小連接”調度算法可以較好地均衡負載。
3.4.4.加權最少鏈接（Weighted Least Connections）
在集群系統中的服務(wù)器性能差異較大的情況下，調度器采用“加權最少鏈接”調度算法優(yōu)化負載均衡性能，具有較高權值的服務(wù)器將承受較大比例的活動(dòng)連接負載。調度器可以自動(dòng)問(wèn)詢(xún)真實(shí)服務(wù)器的負載情況，并動(dòng)態(tài)地調整其權值。
3.4.5.基于局部性的最少鏈接（Locality-Based Least Connections）
“基于局部性的最少鏈接”調度算法是針對目標IP地址的負載均衡，目前主要用于Cache集群系統。該算法根據請求的目標IP地址找出該目標IP地址最近使用的服務(wù)器，若該服務(wù)器是可用的且沒(méi)有超載，將請求發(fā)送到該服務(wù)器；若服務(wù)器不存在，或者該服務(wù)器超載且有服務(wù)器處于一半的工作負載，則用“最少鏈接” 的原則選出一個(gè)可用的服務(wù)器，將請求發(fā)送到該服務(wù)器。
3.4.6.帶復制的基于局部性最少鏈接（Locality-Based Least Connections with Replication）
“帶復制的基于局部性最少鏈接”調度算法也是針對目標IP地址的負載均衡，目前主要用于Cache集群系統。它與LBLC算法的不同之處是它要維護從一個(gè)目標IP地址到一組服務(wù)器的映射，而LBLC算法維護從一個(gè)目標IP地址到一臺服務(wù)器的映射。該算法根據請求的目標IP地址找出該目標IP地址對應的服務(wù)器組，按“最小連接”原則從服務(wù)器組中選出一臺服務(wù)器，若服務(wù)器沒(méi)有超載，將請求發(fā)送到該服務(wù)器；若服務(wù)器超載，則按“最小連接”原則從這個(gè)集群中選出一臺服務(wù)器，將該服務(wù)器加入到服務(wù)器組中，將請求發(fā)送到該服務(wù)器。同時(shí)，當該服務(wù)器組有一段時(shí)間沒(méi)有被修改，將最忙的服務(wù)器從服務(wù)器組中刪除，以降低復制的程度。
3.4.7.目標地址散列（Destination Hashing）
“目標地址散列”調度算法根據請求的目標IP地址，作為散列鍵（Hash Key）從靜態(tài)分配的散列表找出對應的服務(wù)器，若該服務(wù)器是可用的且未超載，將請求發(fā)送到該服務(wù)器，否則返回空。
3.4.8.源地址散列（Source Hashing）
“源地址散列”調度算法根據請求的源IP地址，作為散列鍵（Hash Key）從靜態(tài)分配的散列表找出對應的服務(wù)器，若該服務(wù)器是可用的且未超載，將請求發(fā)送到該服務(wù)器，否則返回空。
除具備以上負載均衡算法外，還可以自定義均衡策略。
3.5場(chǎng)景
一般作為入口負載均衡或內部負載均衡，結合反向代理服務(wù)器使用。相關(guān)架構可參考Ngnix場(chǎng)景架構。
4、HaProxy負載均衡
HAProxy也是使用較多的一款負載均衡軟件。HAProxy提供高可用性、負載均衡以及基于TCP和HTTP應用的代理，支持虛擬主機，是免費、快速并且可靠的一種解決方案。特別適用于那些負載特大的web站點(diǎn)。運行模式使得它可以很簡(jiǎn)單安全的整合到當前的架構中，同時(shí)可以保護你的web服務(wù)器不被暴露到網(wǎng)絡(luò )上。
4.1.特點(diǎn)
支持兩種代理模式：TCP（四層）和HTTP（七層），支持虛擬主機；
配置簡(jiǎn)單，支持url檢測后端服務(wù)器狀態(tài)；
做負載均衡軟件使用，在高并發(fā)情況下，處理速度高于nginx；
TCP層多用于Mysql從（讀）服務(wù)器負載均衡。 （對Mysql進(jìn)行負載均衡，對后端的DB節點(diǎn)進(jìn)行檢測和負載均衡）
能夠補充N(xiāo)ginx的一些缺點(diǎn)比如Session的保持，Cookie引導等工作
4.2.均衡策略
支持四種常用算法：
1.roundrobin：輪詢(xún)，輪流分配到后端服務(wù)器；
2.static-rr：根據后端服務(wù)器性能分配；
3.leastconn：最小連接者優(yōu)先處理；
4.source：根據請求源IP，與Nginx的IP_Hash類(lèi)似。
五、本次分享總結
以上是本周的分享，從主要講解了軟件負載均衡的應用背景，Ngnix負載均衡，LVS負載均衡，Haproxy負載均衡。
因為時(shí)間關(guān)系，有些講解的不細致，大家可以問(wèn)下度娘/Google，希望本次分享對大家有幫助。
聯(lián)系客服
