一、ETag簡(jiǎn)介
ETag(EntityTags)是URL的tag，用來標(biāo)示URL對(duì)象是否改變，這樣可利用客戶端（例如瀏覽器）的緩存。由服務(wù)器首先產(chǎn)生ETag，客戶端通過將該記號(hào)傳回服務(wù)器要求服務(wù)器驗(yàn)證其（客戶端）緩存。服務(wù)器使用它來判斷頁(yè)面是否已經(jīng)被修改，如果未修改返回304，而不必重新傳輸整個(gè)對(duì)象。
二、現(xiàn)在站點(diǎn)sitemap存在的問題
1.發(fā)現(xiàn)更新不及時(shí)
當(dāng)站點(diǎn)或其sitemap發(fā)生更新時(shí)，百度難以及時(shí)發(fā)現(xiàn)并響應(yīng)，因?yàn)榘俣入y以無時(shí)無刻地持續(xù)檢查站點(diǎn)內(nèi)容和sitemap是否更新。
2.全量抓取，消耗帶寬
現(xiàn)在百度對(duì)站點(diǎn)sitemap的抓取會(huì)將sitemap文件完整下載下來，鑒于sitemap文件一般較大，而這種下載可能存在多次，故比較消耗網(wǎng)站的流量和帶寬。
三、ETag作用
HTTP1.1用Etag來判斷請(qǐng)求的文件是否被修改，主要為了解決Last-Modified無法解決的一些問題
1、一些文件也許會(huì)周期性的更改，但是他的內(nèi)容并不改變(僅僅改變的修改時(shí)間)，這個(gè)時(shí)候并不希望客戶端認(rèn)為這個(gè)文件被修改了重新GET;
2、某些文件修改非常頻繁， 1秒內(nèi)修改了N次，If-Modified-Since能檢查到的粒度是秒級(jí)的，這種修改無法判斷
3、某些服務(wù)器不能精確的得到文件的最后修改時(shí)間；
為此，HTTP1.1引入了Etag.但標(biāo)準(zhǔn)并沒有規(guī)定Etag的內(nèi)容是什么或者說要怎么實(shí)現(xiàn)，唯一規(guī)定的是Etag需要放在雙引號(hào)內(nèi)。Etag由服務(wù)器端生成，客戶端通過If-Match或者說If-None-Match這個(gè)條件判斷請(qǐng)求來驗(yàn)證資源是否修改。我們常見的是使用If-None-Match.請(qǐng)求一個(gè)文件的流程可能如下：
第一次請(qǐng)求：
1.客戶端發(fā)起HTTP GET請(qǐng)求一個(gè)文件；
2.服務(wù)器處理請(qǐng)求，返回文件內(nèi)容和一堆Header，當(dāng)然包括Etag(例如"1ec5-502264e2ae4c0")(假設(shè)服務(wù)器支持Etag生成和已經(jīng)開啟了Etag).狀態(tài)碼200，如下圖所示，首次請(qǐng)求百度首頁(yè)時(shí)，成功得到百度logo圖片文件bd_logo1.png，狀態(tài)碼200，大小8.1KB，返回的Header中包括ETag（“1ec5-502264e2ae4c0”）。
第二次請(qǐng)求：
1.客戶端發(fā)起HTTP GET請(qǐng)求一個(gè)文件，這個(gè)時(shí)候客戶端同時(shí)發(fā)送一個(gè)If-None-Match頭，這個(gè)頭的內(nèi)容就是我們第一次請(qǐng)求時(shí)服務(wù)器返回的Etag：1ec5-502264e2ae4c0
2.服務(wù)器判斷發(fā)送過來的Etag和計(jì)算出來的Etag是匹配的，不返回200，返回304，讓客戶端繼續(xù)使用本地緩存。如圖所示這次對(duì)bd_logo1.png的請(qǐng)求，服務(wù)器只返回了Header沒有返回內(nèi)容，大小僅為349B。
四、站點(diǎn)啟用ETag的好處
1.對(duì)sitemap啟用ETag后，百度可以更快速地響應(yīng)sitemap的更新，沒有更改內(nèi)容的情況下，服務(wù)器只發(fā)回304應(yīng)答頭，對(duì)流量的消耗極小，在每個(gè)head平均227B大小的通常情形下，一整天二十四小時(shí)每秒都回應(yīng)的流量消耗僅為18.7M。
2.現(xiàn)在站長(zhǎng)平臺(tái)對(duì)每個(gè)站點(diǎn)的sitemap主動(dòng)抓取次數(shù)設(shè)有上限，且這項(xiàng)功能沒有對(duì)所有站開放，如果您的站點(diǎn)sitemap啟用了ETag，并通過了測(cè)試，那么就可以用很小的流量享受百度及時(shí)更新您的sitemap的功能，以便于百度更好地收錄您網(wǎng)站的內(nèi)容。
對(duì)站點(diǎn)服務(wù)器如何配置ETag
一、Apache
Apache根據(jù)配置文件中的配置來設(shè)置Etag值，默認(rèn)的Apache的FileEtag設(shè)置為：
FileEtagINode Mtime Size
也就是根據(jù)這三個(gè)屬性來生成Etag值，他們之間通過一些算法來實(shí)現(xiàn)，并輸出成hex的格式，相鄰屬性之間用-分隔，比如："2e681a-6-5d044840"，這里面的三個(gè)段，分別代表了INode，MTime，Size根據(jù)算法算出的值的Hex格式，可以改變Apache的FileEtag設(shè)置，比如設(shè)置成FileEtagSize,那么得到的Etag可能為："6"，設(shè)置了幾個(gè)段，Etag值就有幾個(gè)段。
詳細(xì)配置：
步驟1
在要啟用ETag的目錄下增加.htaccess文件并在其中增加一行，如圖：FileETagMTime Size
以覆蓋默認(rèn)的Innode MTime Size的ETag，因?yàn)槟J(rèn)的ETag使用到的Innode會(huì)導(dǎo)致相同的文件在分布式服務(wù)器上產(chǎn)生的ETag不同。
步驟2
如果.htacces文件已經(jīng)存在，請(qǐng)確保要啟用ETag的目錄/.htacces文件中沒有FileETagNone。如果存在FileETag None，請(qǐng)刪去該行。
檢查沒有用mod_headers將ETag除去，即httpd.conf文件中沒有出現(xiàn)下面的語(yǔ)句，
LoadModuleheaders_module modules/mod_headers.so
Headerunset ETag
如果出現(xiàn)如圖情況，請(qǐng)刪除Headerunset ETag這一行。
步驟3 重新啟動(dòng)httpd，就啟用ETag了。
二、Nginx
步驟1
確認(rèn)Nginx版本，命令：Nginx安裝目錄/sbin/nginx–v，
版本為1.7.3及更高，繼續(xù)步驟2；版本為1.7.3以下，1.3.3及以上，進(jìn)行步驟3；版本為1.3.3以下，不支持ETag，請(qǐng)升級(jí)您的Nginx。
步驟2
確認(rèn)沒有關(guān)閉ETag：打開Nginx的配置文件nginx.conf(默認(rèn)位置Nginx安裝目錄/conf/)，確保其中沒有出現(xiàn)etagoff;，下圖為出現(xiàn)的情況，請(qǐng)將此行刪除。
確認(rèn)沒有使用ngx_headers_more清除ETag頭：同樣在配置文件中不能出現(xiàn)如下語(yǔ)句的任意一句，如果出現(xiàn)請(qǐng)將其刪除。
重新啟動(dòng)Nginx，就啟用ETag功能了。
步驟3
查看是否開啟了gzip，且是否和etag出現(xiàn)沖突，出現(xiàn)沖突去步驟4，沒有去步驟2。
打開Nginx的配置文件nginx.conf(默認(rèn)位置Nginx安裝目錄/conf/)，其中出現(xiàn)gzip on；語(yǔ)句證明開啟了gzip，如圖
開啟gzip時(shí)，可能與etag出現(xiàn)沖突，用瀏覽器多次請(qǐng)求此網(wǎng)站的靜態(tài)元素，如果只返回200，不返回304，證明存在沖突，請(qǐng)去步驟4；沒有沖突去步驟2。
步驟4
請(qǐng)關(guān)閉gzip，即將上一步中的gzipon;改為gzip off；然后去步驟2。
若不想關(guān)閉gzip，并要開啟ETag，同時(shí)仍要堅(jiān)持使用當(dāng)前的Nginx版本，只能修改源碼并重新編譯。
下載此版本安裝包并解壓，將其目錄下/src/http/modules/ngx_http_gzip_filter_module.c
文件中約309行左右的ngx_http_clear_etag(r);一行注釋掉或刪掉。如下圖
如果沒有找到ngx_http_clear_etag(r);而是發(fā)現(xiàn)ngx_http_weak_etag(r);如下圖，證明此Nginx
沒有g(shù)zip和etag沖突的問題，不必進(jìn)行任何修改。
重新編譯源碼安裝Nginx，解決這個(gè)沖突，然后去步驟2。
三、IIS
IIS7是默認(rèn)開啟ETag的，如果沒有ETag，請(qǐng)按以下步驟設(shè)置。
打開Internet Information Services (IIS) Manager，如圖雙擊HTTP響應(yīng)頭部(HTTPResponse Headers),
選擇No Grouping標(biāo)簽，在空白處右鍵選擇Add。
設(shè)置Name為ETag，Value為雙引號(hào)
配置web.config:-
<system.webServer>
...
<httpProtocol>
<customHeaders>
<add name="ETag"value="""" />
</customHeaders>
</httpProtocol>
...
</system.webServer>
完成。
不管怎么樣的ETag，在服務(wù)器端都要進(jìn)行計(jì)算，計(jì)算就有開銷，會(huì)帶來性能損失。一些網(wǎng)站把Etag禁用了，這其實(shí)不符合HTTP1.1的規(guī)定，因?yàn)镠TTP/1.1總是鼓勵(lì)服務(wù)器盡可能的開啟Etag。為了確定ETag對(duì)性能造成的具體影響。我們?cè)诜⻊?wù)器上(CPU Intel E5-2620 2.00GHz，內(nèi)存65G，Web Server使用此CPU的兩個(gè)核心)進(jìn)行壓力測(cè)試，在逐漸增加并發(fā)用戶數(shù)目的情況下，查看CPU消耗率和服務(wù)器吞吐率在有無設(shè)置ETag情況下的具體對(duì)比。
本文導(dǎo)航
- 第1頁(yè): 首頁(yè)
- 第2頁(yè): 對(duì)服務(wù)器性能的影響
喜歡 
頂
難過
囧
圍觀
無聊
