為了提高性能，幾乎所有互聯(lián)網(wǎng)應用都有緩存機制，其中Memcache是使用非常廣泛的一個(gè)分布式緩存系統。眾所周知，LAMP是非常經(jīng)典的Web架構方式，但是隨著(zhù)Nginx的 成熟，越來(lái)越多的系統開(kāi)始轉型為L(cháng)NMP（Linux+Nginx+MySQL+PHP with fpm），這是因為Nginx采用基于事件機制的I/O多路復用思想設計，在高并發(fā)情況下其性能遠遠優(yōu)于默認采用prefork模式的Apache，另 外，相對于A(yíng)pache，Nginx更輕量，同時(shí)擁有大量?jì)?yōu)秀的擴展模塊，使得在Nginx上可以實(shí)現一些美妙的功能。
傳統上，PHP中使用memcache的方法是使用php-memcache或php-memached擴展操作memcache，然而在Nginx上有構建更高效緩存機制的方法，本文將首先介紹這種機制，然后介紹具體的操作步驟方法，最后將對這種機制和傳統的PHP操作memcache的性能進(jìn)行一個(gè)benchmark。
我們知道，Nginx的核心設計思想是事件驅動(dòng)的非阻塞I/O。Nginx被設計為可以配置I/O多路復用策略，在Unix系統中傳統的多路復用是 采用select或poll，但是這兩個(gè)方法的問(wèn)題是隨著(zhù)監聽(tīng)socket的增加，性能會(huì )下降，因為在linux內核中是采用輪詢(xún)的方式判斷是否可以觸發(fā) 事件，換句話(huà)說(shuō)算法的復雜度為O(N)，而在較新的linux內核中引入了復雜度為O(1)的epoll，因此Nginx在Linux下默認采用 epoll，而在FreeBSD下默認采用kqueue作為I/O策略。
即便是這樣，傳統的緩存策略仍可能造成效率低下，因為傳統上是通過(guò)PHP操作memcache的，要執行PHP代碼，Nginx就必然要和 FastCGI通信，同時(shí)也要進(jìn)入PHP的生命周期，因此SAPI、PHP Core和Zend Engine的一系列邏輯會(huì )被執行。更糟糕的是，fpm和PHP可能會(huì )阻塞，因此破壞了Nginx的非阻塞性。下圖展示了在memcache命中時(shí)整個(gè)處理過(guò)程。
可以看到，即使memcache命中，還是要進(jìn)入PHP的生命周期。我們知道，目前很多互聯(lián)網(wǎng)應用都使用RESTful規范進(jìn)行設計，在 RESTful應用下，普遍使用uri和查詢(xún)參數作為緩存的key，因此一種更高效的緩存策略是Nginx直接訪(fǎng)問(wèn)memcache，并用$uri 和$args等Nginx內置變量設定緩存key規則，這樣，當緩存命中時(shí)，Nginx可以跳過(guò)通過(guò)fastcgi和PHP通信的過(guò)程，直接從 memcache中獲取數據并返回。memc-nginx和srcache-nginx正是利用這種策略提高了緩存的效率。下圖是這種高效緩存策略的示意 圖（當memcache命中時(shí)）。
memc-nginx和srcache-nginx模 塊均為前淘寶工程師agentzh（章亦春）開(kāi)發(fā)。其中memc模塊擴展了Nginx標準的memcache模塊，增加了set、add、delete等 memcache命令，而srcache則是為location增加了透明的基于subrequest的緩存層。兩者配合使用，可以實(shí)現上一節提到的高效 緩存機制。關(guān)于兩個(gè)模塊的詳細信息可以參考它們Nginx官網(wǎng)的wiki（memc wiki，srcache wiki）頁(yè)。
下面以L(fǎng)NMP環(huán)境介紹如何使用這兩個(gè)模塊構建緩存層。
因為Nginx并不支持模塊動(dòng)態(tài)加載，所以要安裝新的模塊，必須重新編譯Nginx。首先下載兩個(gè)模塊（memc下載地址，srcache下載地址），另外，為了發(fā)揮出緩存的最大性能，建議將memcache的upstream配置為keep-alive，為了支持upstream的keep-alive需要同時(shí)安裝http-upstream-keepalive-module。
將模塊下載并解壓到合適的目錄，這里我Nginx使用的版本是1.0.4，與相關(guān)模塊一起解壓到了/home/zhangyang/downloads，如下圖所示。
其中紅框框起來(lái)的是我們需要用到的模塊。進(jìn)入nginx目錄，執行下列命令：
1 2 3 4 5 6 | ./configure --prefix=/usr/local/nginx --add-module=../memc-nginx-module --add-module=../srcache-nginx-module --add-module=../ngx_http_upstream_keepalivemakemake install |
這里我將nginx安裝到/usr/local/nginx下，你可以根據自己的需要更改安裝路徑，另外，我只列出了本文必要的configure命令，你也可以增加需要的configure選項。
然后需要對nginx進(jìn)行配置，nginx默認主配置文件放在安裝目錄的conf下，例如我的主配置文件為/usr/local/nginx/conf/nginx.conf。
這里我只貼出相關(guān)的配置：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | #Memcache服務(wù)upstreamupstream memcache {server localhost:11211;keepalive 512 single;}server { listen 80; server_name localhost; #memc-nginx-module location /memc { internal; memc_connect_timeout 100ms; memc_send_timeout 100ms; memc_read_timeout 100ms; set $memc_key $query_string; set $memc_exptime 300; memc_pass memcache; } location / { root /var/www; index index.html index.htm index.php; } # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000 # location ~ .php$ { charset utf-8; default_type text/html; #srcache-nginx-module set $key $uri$args; srcache_fetch GET /memc $key; srcache_store PUT /memc $key; root /var/www; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; include fastcgi_params; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; }} |
下面解釋一下其中幾個(gè)點(diǎn)。
上文說(shuō)過(guò)，memc-nginx是一個(gè)標準的upstream模塊，因此首先需要定義memcache的upstream。這里我在本機上啟動(dòng)了一 個(gè)memcache服務(wù)，端口為默認的11211，keepalive指令是http-upsteram-keepalive-module提供的功能， 這里我們最大保持512個(gè)不立即關(guān)閉的連接用于提升性能。
下面是為memc-nginx-module配置location，我們配置為/memc，所有請求都通過(guò)請求這個(gè)location來(lái)操作 memcache，memc-nginx-module存取memcache是基于http method語(yǔ)義的，使用http的GET方法表示get、PUT方法表示set、DELETE方法表示delete。這里我們將/memc設為internal表示只接受內部訪(fǎng)問(wèn)，不接收外部http請求，這是為了安全考慮，當然如果需要通過(guò)http協(xié)議開(kāi)放外部訪(fǎng)問(wèn)，可以去掉internal然后使用deny和allow指 令控制權限。比較重要的是$memc_key這個(gè)變量，它表示以什么作為key，這里我們直接使用Nginx內置的$query_string來(lái)作為 key，$memc_exptime表示緩存失效時(shí)間，以秒記。這里統一設為300（5分鐘），在實(shí)際應用中可以根據具體情況為不同的內容設置不同的過(guò)期 時(shí)間。
最后我們?yōu)椤皛 .php$”這個(gè)location配置了緩存，這表示所有以“.php”結尾的請求都會(huì )結果被緩存，當然這里只是示例需要，實(shí)際中一般不會(huì )這么配，而是為特定需要緩存的location配置緩存。
srcache_fetch表示注冊一個(gè)輸入攔截處理器到location，這個(gè)配置將在location進(jìn)入時(shí)被執行；而 srcache_store表示注冊一個(gè)輸出攔截器到location，當location執行完成并輸出時(shí)會(huì )被執行。注意srcache模塊實(shí)際可以與 任何緩存模塊進(jìn)行配合使用，而不必一定是memc。這里我們以$uri$args作為緩存的key。
經(jīng)過(guò)上述配置后，相當于對Nginx增加了如下邏輯：當所請求的uri以“.php”結尾時(shí)，首先到memcache中查詢(xún)有沒(méi)有 以$uri$args為key的數據，如果有則直接返回；否則，執行location的邏輯，如果返回的http狀態(tài)碼為200，則在輸出前 以$uri$args為key，將輸入結果存入memcache。
上一節給出了使用memc和srcache構建緩存層的最基本方法，實(shí)際應用中可能需要更多靈活的配置，例如為不同的location配置不同的緩 存參數，根據返回內容而不是返回的http狀態(tài)碼確定是否緩存等等?？梢杂泻芏嗟姆椒▽?shí)現這些需求，例如，srcache還支持兩個(gè)指 令：srcache_fetch_skip和srcache_fetch_skip，這兩個(gè)指令接受一個(gè)參數，當參數已定義且非0時(shí)，則進(jìn)行相應操作，否 則不進(jìn)行。例如，如果配置了srcache_fetch_skip $skip，這條指令，那么只有當$skip的值為非0時(shí)，才將結果緩存，如果配合ngx_lua模塊的set_by_lua指令，則可以實(shí)現復雜的緩存控制。如：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | location /xxxx { set $key ...; set_by_lua $skip ' if ngx.var.cookie_foo == "bar" then return 1 end return 0 '; srcache_fetch_skip $skip; srcache_store_skip $skip; srcache_fetch GET /memc $key; srcache_store GET /memc $key; # proxy_pass/fastcgi_pass/...} |
這表示對/xxxx這個(gè)location的訪(fǎng)問(wèn)，只有存在cookie “foo”且值為“bar”時(shí)緩存機制才起作用。關(guān)于ngx_lua的更多內容請參考其主頁(yè)。
另外，我最近在春哥（章亦春在淘寶的昵稱(chēng)）的微博上看到他目前正在完善srcache的功能，為其實(shí)現更多RFC2616的緩存行為標準。關(guān)于這個(gè)模塊的最新動(dòng)態(tài)可以關(guān)注其github主頁(yè)。
下面對使用memc和srcache構建的緩存機制進(jìn)行一個(gè)簡(jiǎn)單的benchmark，并與使用PHP操作memcache的策略進(jìn)行一個(gè)對比。為了簡(jiǎn)單起見(jiàn)，我們的測試PHP腳本不去訪(fǎng)問(wèn)I/O，而僅僅是調用phpinfo函數輸出PHP相關(guān)信息。
測試一共分三組進(jìn)行：第一組在Nginx和PHP中均不開(kāi)啟緩存，第二組僅使用PHP memcache緩存，第三組僅使用Nginx memcache緩存。三組都用ab程序去壓，并發(fā)數為20，請求次數為10000。
這里的測試環(huán)境是我的一個(gè)虛擬機，操作系統為Ubuntu10，內存512M。Nginx采用epoll，單worker進(jìn)程，memcache最大并發(fā)數為1024，最大使用內存64m。
這一組我們不開(kāi)啟緩存，PHP程序非常簡(jiǎn)單：
1 2 3 | <?phpphpinfo();?> |
測試結果如下：
第二組我們用PHP操作緩存，測試腳本為：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | <?php $memc = new Memcached; $memc->addServer('localhost', 11211) or die('Connect to memcache server failed!'); $output = $memc->get('my_key'); if(empty($output)) { ob_start(); phpinfo(); $output = ob_get_contents(); ob_end_clean(); $memc->set('my_key', $output, 300); } echo $output;*/?> |
測試結果如下：
最后，我們將PHP腳本回歸到不使用緩存的版本，并配置好memc和srcache緩存機制。測試結果如下：
為了直觀(guān)，我取“每秒處理請求數”、“平均每個(gè)請求處理時(shí)間”和“吞吐率”作為評價(jià)指標，制作了一張圖表。
我想看到圖表，結論已毋需我多言。在各項指標上使用memc和srcache構建的緩存機制都大大優(yōu)于使用PHP操作memcache。其中每秒處理請求數（并發(fā)度）和吞吐率都是其9倍左右，而平均個(gè)請求所用時(shí)間僅有傳統策略的1/8。
這里要特別說(shuō)明一下，這里之所以PHP memcache策略比不使用緩存優(yōu)勢不明顯，是因為我們的PHP腳本不涉及I/O操作，如果其中存在如數據庫存取，PHP memcache的優(yōu)勢還是有的，但不論如何，Nginx memcache策略在性能上的優(yōu)勢是其無(wú)法比擬的。
另外，除了性能優(yōu)勢外，使用這種策略還可以簡(jiǎn)化PHP邏輯，因為緩存這一層都放在Nginx中了，PHP就從緩存操作中解放了出來(lái)，因此是一舉多得。
如果你的系統也構建在LNMP上（或LAMP）上，不妨使用本文提到的方法替代傳統的緩存策略，盡情享受性能上的提升。
聯(lián)系客服
