1. 基礎(chǔ)概念篇

1.1 介紹

  HTTP是Hyper Text Transfer Protocol（超文本傳輸協(xié)議）的縮寫。它的發(fā)展是萬維網(wǎng)協(xié)會（World Wide Web Consortium）和Internet工作小組IETF（Internet Engineering Task Force）合作的結(jié)果，（他們）最終發(fā)布了一系列的RFC，RFC 1945定義了HTTP/1.0版本。其中最著名的就是RFC 2616。RFC 2616定義了今天普遍使用的一個版本——HTTP 1.1。

HTTP協(xié)議（HyperText Transfer Protocol，超文本傳輸協(xié)議）是用于從WWW服務(wù)器傳輸超文本到本地瀏覽器的傳送協(xié)議。它可以使瀏覽器更加高效，使網(wǎng)絡(luò)傳輸減少。它不僅保證計算機正確快速地傳輸超文本文檔，還確定傳輸文檔中的哪一部分，以及哪部分內(nèi)容首先顯示(如文本先于圖形)等。

HTTP是一個應(yīng)用層協(xié)議，由請求和響應(yīng)構(gòu)成，是一個標準的客戶端服務(wù)器模型。HTTP是一個無狀態(tài)的協(xié)議。

1.2 在TCP/IP協(xié)議棧中的位置

HTTP協(xié)議通常承載于TCP協(xié)議之上，有時也承載于TLS或SSL協(xié)議層之上，這個時候，就成了我們常說的HTTPS。如下圖所示：
   

默認HTTP的端口號為80，HTTPS的端口號為443。

1.3 HTTP的請求響應(yīng)模型

HTTP協(xié)議永遠都是客戶端發(fā)起請求，服務(wù)器回送響應(yīng)。見下圖：
   

這樣就限制了使用HTTP協(xié)議，無法實現(xiàn)在客戶端沒有發(fā)起請求的時候，服務(wù)器將消息推送給客戶端。

HTTP協(xié)議是一個無狀態(tài)的協(xié)議，同一個客戶端的這次請求和上次請求是沒有對應(yīng)關(guān)系。

1.4 工作流程

一次HTTP操作稱為一個事務(wù)，其工作過程可分為四步：

1）首先客戶機與服務(wù)器需要建立連接。只要單擊某個超級鏈接，HTTP的工作開始。

2）建立連接后，客戶機發(fā)送一個請求給服務(wù)器，請求方式的格式為：統(tǒng)一資源標識符（URL）、協(xié)議版本號，后邊是MIME信息包括請求修飾符、客戶機信息和可能的內(nèi)容。

3）服務(wù)器接到請求后，給予相應(yīng)的響應(yīng)信息，其格式為一個狀態(tài)行，包括信息的協(xié)議版本號、一個成功或錯誤的代碼，后邊是MIME信息包括服務(wù)器信息、實體信息和可能的內(nèi)容。

4）客戶端接收服務(wù)器所返回的信息通過瀏覽器顯示在用戶的顯示屏上，然后客戶機與服務(wù)器斷開連接。

如果在以上過程中的某一步出現(xiàn)錯誤，那么產(chǎn)生錯誤的信息將返回到客戶端，有顯示屏輸出。對于用戶來說，這些過程是由HTTP自己完成的，用戶只要用鼠標點擊，等待信息顯示就可以了。

1.5 使用Wireshark抓TCP、http包

打開Wireshark，選擇工具欄上的“Capture”->“Options”，界面選擇如圖1所示：
                            

圖1 設(shè)置Capture選項

一般讀者只需要選擇最上邊的下拉框，選擇合適的Device，而后點擊“Capture Filter”，此處選擇的是“HTTP TCP port（80）”，選擇后點擊上圖的“Start”開始抓包。
                                 

圖2 選擇Capture Filter

例如在瀏覽器中打開http://image.baidu.com/，抓包如圖3所示：
   

圖3   抓包

在上圖中，可清晰的看到客戶端瀏覽器（ip為192.168.2.33）與服務(wù)器的交互過程：

1）No1：瀏覽器（192.168.2.33）向服務(wù)器（220.181.50.118）發(fā)出連接請求。此為TCP三次握手第一步，此時從圖中可以看出，為SYN，seq:X （x=0）

2）No2：服務(wù)器（220.181.50.118）回應(yīng)了瀏覽器（192.168.2.33）的請求，并要求確認，此時為：SYN，ACK，此時seq：y（y為0），ACK：x+1（為1）。此為三次握手的第二步；

3）No3：瀏覽器（192.168.2.33）回應(yīng)了服務(wù)器（220.181.50.118）的確認，連接成功。為：ACK，此時seq：x+1（為1），ACK：y+1（為1）。此為三次握手的第三步；

4）No4：瀏覽器（192.168.2.33）發(fā)出一個頁面HTTP請求；

5）No5：服務(wù)器（220.181.50.118）確認；

6）No6：服務(wù)器（220.181.50.118）發(fā)送數(shù)據(jù)；

7）No7：客戶端瀏覽器（192.168.2.33）確認；

8）No14：客戶端（192.168.2.33）發(fā)出一個圖片HTTP請求；

9）No15：服務(wù)器（220.181.50.118）發(fā)送狀態(tài)響應(yīng)碼200 OK

……

1.6 頭域

每個頭域由一個域名，冒號（:）和域值三部分組成。域名是大小寫無關(guān)的，域值前可以添加任何數(shù)量的空格符，頭域可以被擴展為多行，在每行開始處，使用至少一個空格或制表符。

在抓包的圖中，No14點開可看到如圖4所示：

圖4 http請求消息

       回應(yīng)的消息如圖5所示：
              

圖5 http狀態(tài)響應(yīng)信息

1.6.1 host頭域

Host頭域指定請求資源的Intenet主機和端口號，必須表示請求url的原始服務(wù)器或網(wǎng)關(guān)的位置。HTTP/1.1請求必須包含主機頭域，否則系統(tǒng)會以400狀態(tài)碼返回。

圖5中host那行為：

1.6.2 Referer頭域

Referer頭域允許客戶端指定請求uri的源資源地址，這可以允許服務(wù)器生成回退鏈表，可用來登陸、優(yōu)化cache等。他也允許廢除的或錯誤的連接由于維護的目的被追蹤。如果請求的uri沒有自己的uri地址，Referer不能被發(fā)送。如果指定的是部分uri地址，則此地址應(yīng)該是一個相對地址。

在圖4中，Referer行的內(nèi)容為：

1.6.3 User-Agent頭域

User-Agent頭域的內(nèi)容包含發(fā)出請求的用戶信息。

在圖4中，User-Agent行的內(nèi)容為：
  

1.6.4 Cache-Control頭域

Cache-Control指定請求和響應(yīng)遵循的緩存機制。在請求消息或響應(yīng)消息中設(shè)置Cache-Control并不會修改另一個消息處理過程中的緩存處理過程。請求時的緩存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached，響應(yīng)消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age。

在圖5中的該頭域為：

1.6.5 Date頭域

Date頭域表示消息發(fā)送的時間，時間的描述格式由rfc822定義。例如，Date:Mon,31Dec200104:25:57GMT。Date描述的時間表示世界標準時，換算成本地時間，需要知道用戶所在的時區(qū)。

圖5中，該頭域如下圖所示：

 

1.7 HTTP的幾個重要概念

1.7.1連接：Connection

一個傳輸層的實際環(huán)流，它是建立在兩個相互通訊的應(yīng)用程序之間。

在http1.1，request和reponse頭中都有可能出現(xiàn)一個connection的頭，此header的含義是當client和server通信時對于長鏈接如何進行處理。

在http1.1中，client和server都是默認對方支持長鏈接的， 如果client使用http1.1協(xié)議，但又不希望使用長鏈接，則需要在header中指明connection的值為close；如果server方也不想支持長鏈接，則在response中也需要明確說明connection的值為close。不論request還是response的header中包含了值為close的connection，都表明當前正在使用的tcp鏈接在當天請求處理完畢后會被斷掉。以后client再進行新的請求時就必須創(chuàng)建新的tcp鏈接了。

1.7.2消息：Message

HTTP通訊的基本單位，包括一個結(jié)構(gòu)化的八元組序列并通過連接傳輸。

1.7.3請求：Request

一個從客戶端到服務(wù)器的請求信息包括應(yīng)用于資源的方法、資源的標識符和協(xié)議的版本號。

1.7.4響應(yīng)：Response

一個從服務(wù)器返回的信息包括HTTP協(xié)議的版本號、請求的狀態(tài)(例如“成功”或“沒找到”)和文檔的MIME類型。

1.7.5資源：Resource

由URI標識的網(wǎng)絡(luò)數(shù)據(jù)對象或服務(wù)。

1.7.6實體：Entity

數(shù)據(jù)資源或來自服務(wù)資源的回映的一種特殊表示方法，它可能被包圍在一個請求或響應(yīng)信息中。一個實體包括實體頭信息和實體的本身內(nèi)容。

1.7.7客戶機：Client

一個為發(fā)送請求目的而建立連接的應(yīng)用程序。

1.7.8用戶代理：UserAgent

初始化一個請求的客戶機。它們是瀏覽器、編輯器或其它用戶工具。

1.7.9服務(wù)器：Server

一個接受連接并對請求返回信息的應(yīng)用程序。

1.7.10源服務(wù)器：Originserver

是一個給定資源可以在其上駐留或被創(chuàng)建的服務(wù)器。

1.7.11代理：Proxy

一個中間程序，它可以充當一個服務(wù)器，也可以充當一個客戶機，為其它客戶機建立請求。請求是通過可能的翻譯在內(nèi)部或經(jīng)過傳遞到其它的服務(wù)器中。一個代理在發(fā)送請求信息之前，必須解釋并且如果可能重寫它。

代理經(jīng)常作為通過防火墻的客戶機端的門戶，代理還可以作為一個幫助應(yīng)用來通過協(xié)議處理沒有被用戶代理完成的請求。

1.7.12網(wǎng)關(guān)：Gateway

一個作為其它服務(wù)器中間媒介的服務(wù)器。與代理不同的是，網(wǎng)關(guān)接受請求就好象對被請求的資源來說它就是源服務(wù)器；發(fā)出請求的客戶機并沒有意識到它在同網(wǎng)關(guān)打交道。

網(wǎng)關(guān)經(jīng)常作為通過防火墻的服務(wù)器端的門戶，網(wǎng)關(guān)還可以作為一個協(xié)議翻譯器以便存取那些存儲在非HTTP系統(tǒng)中的資源。

1.7.13通道：Tunnel

是作為兩個連接中繼的中介程序。一旦激活，通道便被認為不屬于HTTP通訊，盡管通道可能是被一個HTTP請求初始化的。當被中繼的連接兩端關(guān)閉時，通道便消失。當一個門戶(Portal)必須存在或中介(Intermediary)不能解釋中繼的通訊時通道被經(jīng)常使用。

1.7.14緩存：Cache

反應(yīng)信息的局域存儲。