request庫雖然Python的標準庫中 urllib.request 模塊已經(jīng)包含了平常我們使用的大多數(shù)功能，但是它的 API 使用起來讓人感覺不太好，而 Requests 自稱 “HTTP for Humans”，說明使用更簡潔方便。 Requests 唯一的一個非轉(zhuǎn)基因的 Python HTTP 庫，人類可以安全享用。 Requests 繼承了urllib2的所有特性。Requests支持HTTP連接保持和連接池，支持使用cookie保持會話，支持文件上傳，支持自動確定響應(yīng)內(nèi)容的編碼，支持國際化的 URL 和 POST 數(shù)據(jù)自動編碼。 requests 的底層實現(xiàn)其實就是 urllib3。 Requests的文檔非常完備，中文文檔也相當不錯。Requests能完全滿足當前網(wǎng)絡(luò)的需求，支持Python 2.6—3.6，而且能在PyPy下完美運行。 1.1 requests庫特性。Requests庫是Python中的一個HTTP請求第三方庫，用來簡化網(wǎng)絡(luò)請求， 它有如下特征，能夠完全滿足現(xiàn)在的Web開發(fā)。 1.Keep-Alive & 連接池。 2.國際化域名和 URL。 3.帶持久 Cookie 的會話。 4.瀏覽器式的 SSL 認證。 5.自動內(nèi)容解碼。 6.基本/摘要式的身份認證。 7.優(yōu)雅的 key/value Cookie。 8.自動解壓。 9.Unicode 響應(yīng)體。 10.HTTP(S) 代理支持。 11.文件分塊上傳。 12.流下載。 13.連接超時。 14.分塊請求。 15.支持 .netrc。 1.2 requests庫安裝。requests庫的安裝可以通過pip install requests命令安裝或者利用easy_install都可以完成安裝，一般情況都是通過pip install requests命令安裝。 1.3 用requests庫發(fā)送請求。使用 Requests發(fā)送網(wǎng)絡(luò)請求非常簡單。 第一步：需要導入 Requests 模塊： import requests 第二步：創(chuàng)建一個Response對象，我們可以各種通過HTTP請求類型從這個對象中獲取所有我們想要的信息。 例如：獲取 Github 的公共時間線。 Response = requests.get('https://api.github.com/events') Response = requests.post('http:///post', data = {'key':'value'}) Response = requests.put('http:///put', data = {'key':'value'}) Response = requests.delete('http:///delete') Response = requests.head('http:///get') Response = requests.options('http:///get') Get 、Post、PUT、DELETE、HEAD 以及 OPTIONS 都是requests 庫的HTTP請求類型，常用的一般是Get 、Post兩種，下面的教程也是以Get 、Post兩種為主介紹相關(guān)的使用。 1.4 帶參數(shù)的Get請求。通常一個get完整的URL是手工構(gòu)建的，數(shù)據(jù)會以鍵/值對的形式置于URL中，跟在一個問號的后面。例如， /get?key=val。 Requests 允許你使用 params 關(guān)鍵字參數(shù)，以一個字符串字典來提供這些參數(shù)。舉例來說，如果你想傳遞 key1=value1 和 key2=value2 到 /get ，那么你可以使用如下代碼： payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get('http:///get', params=payload) print(r.url) 運行結(jié)果： http:///get?key1=value1&key2=value2
注意字典里值為 None 的鍵都不會被添加到 URL 的查詢字符串里。 例子： import requests payload = {'key1': 'value1', 'key2': None,'key3':'value3'} r = requests.get('http:///get', params=payload) print(r.url) 運行結(jié)果： http:///get?key3=value3&key1=value1 你還可以將一個列表作為值傳入。 例子： import requests payload = {'key1': 'value1', 'key2': ['value2', 'value3']} r = requests.get('http:///get', params=payload) print(r.url) 運行結(jié)果： http:///get?key2=value2&key2=value3&key1=value1 1.5 Get請求帶headers 和 params查詢參數(shù)。Get請求如果想添加 headers，可以傳入headers參數(shù)來增加請求頭中的headers信息。如果要將參數(shù)放在url中傳遞，可以利用 params 參數(shù)。 例子： import requests kw = {'wd':'電影'} headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'} # params 接收一個字典或者字符串的查詢參數(shù)，字典類型自動轉(zhuǎn)換為url編碼，不需要urlencode() response = requests.get('http://www.baidu.com/s?', params = kw, headers = headers) # 查看響應(yīng)內(nèi)容，response.text 返回的是Unicode格式的數(shù)據(jù)。 print(response.text) # 查看響應(yīng)內(nèi)容，response.content返回的字節(jié)流數(shù)據(jù)。 print(response.content) # 查看完整url地址。 print(response.url) # 查看響應(yīng)頭部字符編碼。 print(response.encoding) # 查看響應(yīng)碼。 print(response.status_code) 運行結(jié)果： 說明： 【response.text】：獲取響應(yīng)內(nèi)容。 【response.content】：也是獲取響應(yīng)內(nèi)容，但是返回的是字節(jié)流數(shù)據(jù)。 【response.url】：查看完整的請求URL。 【response.encoding】：查看響應(yīng)頭部字符編碼。 【response.status_code】：查看響應(yīng)狀態(tài)碼。 使用response.text 時，Requests 會基于 HTTP 響應(yīng)的文本編碼自動解碼響應(yīng)內(nèi)容，大多數(shù) Unicode 字符集都能被無縫地解碼。 使用response.content 時，返回的是服務(wù)器響應(yīng)數(shù)據(jù)的原始二進制字節(jié)流，可以用來保存圖片等二進制文件。 1.6 Post請求。對于 POST 請求來說，我們一般需要為它增加一些參數(shù)。那么最基本的傳參方法可以利用 data 這個參數(shù)。 例子： import requests payload = {'key1': 'value1', 'key2': 'value2'} ret = requests.post('http:///post', data=payload) print(ret.text) 運行結(jié)果： {'args':{},'data':'','files':{},'form':{'key1':'value1','key2':'value2'},'headers':{'Accept':'*/*','Accept-Encoding':'gzip, deflate','Connection':'close','Content-Length':'23','Content-Type':'application/x-www-form-urlencoded','Host':'','User-Agent':'python-requests/2.18.4'},'json':null,'origin':'119.123.205.115','url':'http:///post'} 1.7 響應(yīng)內(nèi)容。requests模塊的返回對象是一個Response對象，可以從這個對象中獲取需要的信息。下面 r 代表Response對象。 【r.text】：文本響應(yīng)內(nèi)容。 【r.context】：二進制響應(yīng)內(nèi)容。 【r.json()】：JSON響應(yīng)內(nèi)容 。 【r.raw】：原始相應(yīng)內(nèi)容。 （1）文本響應(yīng)內(nèi)容。 例子： import requests r = requests.get('https://api.github.com/events') print(r.text) 運行結(jié)果： 對于非文本請求，你也能以字節(jié)的方式訪問請求響應(yīng)體。 （2）二進制響應(yīng)內(nèi)容。 對于非文本請求，你也能以字節(jié)的方式訪問請求響應(yīng)體。 例子1： import requests r = requests.get('https://api.github.com/events') print(r.content) 運行結(jié)果： Requests 會自動為你解碼 gzip 和 deflate 傳輸編碼的響應(yīng)數(shù)據(jù)。 例子2，以請求返回的二進制數(shù)據(jù)創(chuàng)建一張圖片。 from PIL import Image from io import BytesIO i = Image.open(BytesIO(r.content)) （3）JSON響應(yīng)內(nèi)容。 Requests 中也有一個內(nèi)置的 JSON 解碼器，助你處理 JSON 數(shù)據(jù)。 例子： import requests r = requests.get('https://github.com/timeline.json') print(r.json()) 運行結(jié)果： 如果 JSON 解碼失敗， r.json 就會拋出一個異常。例如，相應(yīng)內(nèi)容是 401 (Unauthorized)，嘗試訪問 r.json 將會拋出 ValueError: No JSON object could be decoded 異常。 （4）Raw響應(yīng)內(nèi)容。 在罕見的情況下，你可能想獲取來自服務(wù)器的原始套接字響應(yīng)，那么你可以訪問 r.raw。 如果你確實想這么干，那請你確保在初始請求中設(shè)置了 stream=True。具體你可以這么做。 例子： import requests r = requests.get('https://github.com/timeline.json', stream=True) print(r.raw) 運行結(jié)果： 但一般情況下，你應(yīng)該以下面的模式將文本流保存到文件。 with open(filename, 'wb') as fd: for chunk in r.iter_content(chunk_size): fd.write(chunk) 使用 Response.iter_content 將會處理大量你直接使用 Response.raw 不得不處理的。 當流下載時，上面是優(yōu)先推薦的獲取內(nèi)容方式。 1.8 響應(yīng)碼轉(zhuǎn)碼。Requests會自動將從Server返回的內(nèi)容解碼。許多Unicode字符也會被解碼。 請求發(fā)出后，Requests 會基于 HTTP 頭部對響應(yīng)的編碼作出有根據(jù)的推測。當你訪問 r.text 之時，Requests 會使用其推測的文本編碼。你可以找出 Requests 使用了什么編碼，并且能夠使用r.encoding 屬性來改變它： 如果你改變了編碼，每當你訪問 r.text ，Request 都將會使用 r.encoding 的新值。你可能希望在使用特殊邏輯計算出文本的編碼的情況下來修改編碼。比如 HTTP 和 XML 自身可以指定編碼。這樣的話，你應(yīng)該使用 r.content 來找到編碼，然后設(shè)置 r.encoding 為相應(yīng)的編碼。這樣就能使用正確的編碼解析 r.text 了。 在你需要的情況下，Requests 也可以使用定制的編碼。如果你創(chuàng)建了自己的編碼，并使用codecs 模塊進行注冊，你就可以輕松地使用這個解碼器名稱作為 r.encoding 的值， 然后由 Requests 來為你處理編碼。 例子： import requests r = requests.get('https://api.github.com/events') print(r.text) print(r.encoding) r.encoding = 'ISO-8859-1' print(r.encoding) 運行結(jié)果： 1.9 自定義請求頭。如果你想為請求添加 HTTP 頭部，只要簡單地傳遞一個 dict 給 headers 參數(shù)就可以了。 例如，在前一個示例中我們沒有指定 content-type。 import requests url = 'https://api.github.com/some/endpoint' headers = {'user-agent': 'my-app/0.0.1'} r = requests.get(url, headers=headers) 注意: 定制 header 的優(yōu)先級低于某些特定的信息源，例如： 1.如果在 .netrc 中設(shè)置了用戶認證信息，使用 headers= 設(shè)置的授權(quán)就不會生效。而如果設(shè)置了auth= 參數(shù)，.netrc 的設(shè)置就無效了。 2.如果被重定向到別的主機，授權(quán) header 就會被刪除。 3.代理授權(quán) header 會被 URL 中提供的代理身份覆蓋掉。 4.在我們能判斷內(nèi)容長度的情況下，header 的 Content-Length 會被改寫。 更進一步講，Requests 不會基于定制 header 的具體情況改變自己的行為。只不過在最后的請求中，所有的 header 信息都會被傳遞進去。 注意: 所有的 header 值必須是 string、bytestring 或者 unicode。盡管傳遞 unicode header 也是允許的，但不建議這樣做。 1.10 響應(yīng)狀態(tài)碼。我們可以通過r.status_code檢測響應(yīng)狀態(tài)碼。 例子: import requests r = requests.get('http:///get') print(r.status_code) 運行結(jié)果： 為方便引用，Requests還附帶了一個內(nèi)置的狀態(tài)碼查詢對象。 r.status_code == requests.codes.ok 如果發(fā)送了一個錯誤請求(一個 4XX 客戶端錯誤，或者 5XX 服務(wù)器錯誤響應(yīng))，我們可以通過Response.raise_for_status() 來拋出異常。 import requests r = requests.get('http:///get') print(r.status_code) 假如運行的結(jié)果為：404，會報如下錯誤： bad_r.raise_for_status() Traceback (most recent call last): File 'requests/models.py', line 832, in raise_for_status raise http_error requests.exceptions.HTTPError: 404 Client Error 但是，由于我們的例子中 r 的 status_code 是 200 ，當我們調(diào)用 raise_for_status() 時，得到的是：None。 1.11 響應(yīng)頭。我們可以通過r.headers查看以一個請求的服務(wù)器響應(yīng)頭。 例子： import requests r = requests.get('http:///get') print(r.headers) 運行結(jié)果： {'Server': 'gunicorn/19.8.1', 'Access-Control-Allow-Origin': '*', 'Content-Length': '211', 'Content-Type': 'application/json', 'Connection': 'keep-alive', 'Access-Control-Allow-Credentials': 'true', 'Date': 'Sun, 17 Jun 2018 03:21:54 GMT', 'Via': '1.1 vegur'} 返回的是一個字典，這個字典比較特殊：它是僅為 HTTP 頭部而生的，HTTP 頭部是大小寫不敏感的，因此，我們可以使用任意大寫形式來編寫這些響應(yīng)頭字段。 還有一個特殊點，那就是服務(wù)器可以多次接受同一 header，每次都使用不同的值。 Requests 會自動將它們合并。 1.12 cookies我們可以通過r.cookies 去獲取一個請求的cookies，特別是在實戰(zhàn)中登錄模塊用的比較多，我們可以通過cookies進行登錄。 例子1： import requests response = requests.get('http://www.baidu.com/') # 返回CookieJar對象: cookiejar = response.cookies # 將CookieJar轉(zhuǎn)為字典： cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print(cookiejar) print(cookiedict) 運行結(jié)果： 例子2：利用Cookie模擬登錄步驟： 1.在瀏覽器輸入http://demo.，輸入用戶名和密碼登錄。 2.登錄成功點“客戶管理”模塊。 3.進入客戶管理模塊，顯示客戶列表。 4.通過抓包工具抓取客戶列表，得到登錄后的Cookie信息。 GET http://demo./customer/index.shtml HTTP/1.1 Host: demo. Connection: keep-alive Pragma: no-cache Cache-Control: no-cache Accept: */* X-Requested-With: XMLHttpRequest User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36 Referer: http://demo./ Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.9 Cookie: IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ 5.利用sublime text工具處理抓到的http請求頭信息替換成字典。 選擇內(nèi)容替換的方式是用正則表達式。 內(nèi)容填寫：^(.*):\s(.*)$ （需要把header文件內(nèi)容處理成字典，中間有個空格，所以加個\s） 替換為填寫：'\1':'\2', 點全換，處理完成之后變成如下： 'Host':'demo.', 'Connection':'keep-alive', 'Pragma':'no-cache', 'Cache-Control':'no-cache', 'Accept':'*/*', 'X-Requested-With':'XMLHttpRequest', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Referer':'http://demo./', 'Accept-Encoding':'gzip, deflate', 'Accept-Language':'zh-CN,zh;q=0.9', 'Cookie':'IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ', 6. 處理完成之后直接拷貝到Python定義的頭信息變量headers={}里。 7. 整理headers 信息（去掉一些沒用的，保留一些重要的）。 'Connection':'keep-alive', 'X-Requested-With':'XMLHttpRequest', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Referer':'http://demo./', 'Cookie':'IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ', 8. 編寫完整的程序。 import requests from urllib import parse url ='http://demo./qhiex_login' headers ={ 'Referer': 'http://demo./', 'Connection': 'keep-alive', 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Content-Type': 'application/x-www-form-urlencoded', 'Accept-Language': 'zh-CN,zh;q=0.9', } data ={'username':'demo100','password':'demo100'} # 通過urlencode()轉(zhuǎn)碼 postdata = parse.urlencode(data).encode(encoding='UTF8') response = requests.post(url, data = postdata,headers=headers) # 返回CookieJar對象: cookiejar = response.cookies # 將CookieJar轉(zhuǎn)為字典： cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print(cookiejar) print(cookiedict) #利用cookie登錄，訪問客戶管理模塊 r=requests.get('http://demo./customer/index.shtml',headers=headers) # 響應(yīng)內(nèi)容轉(zhuǎn)碼 r.encoding = 'utf-8' #打印響應(yīng)內(nèi)容 print(r.text) 運行結(jié)果： 可以看到客戶列表里的相關(guān)信息，證明是通過Cookie登錄成功，然后跳轉(zhuǎn)到客戶管理模塊，獲取的客戶信息。 1.13 Sission在 requests 里，session對象是一個非常常用的對象，這個對象代表一次用戶會話：從客戶端瀏覽器連接服務(wù)器開始，到客戶端瀏覽器與服務(wù)器斷開。 會話能讓我們在跨請求時候保持某些參數(shù)，比如在同一個 Session 實例發(fā)出的所有請求之間保持 cookie 。 例子：利用Sission實現(xiàn)登錄。 import requests from urllib import parse url ='http://demo./qhiex_login' headers ={ 'Referer': 'http://demo./', 'Connection': 'keep-alive', 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Content-Type': 'application/x-www-form-urlencoded', 'Accept-Language': 'zh-CN,zh;q=0.9', } data ={'username':'demo100','password':'demo100'} # 創(chuàng)建session對象，可以保存Cookie值。 ssion = requests.session() # 發(fā)送附帶用戶名和密碼的請求，并獲取登錄后的Cookie值，保存在ssion里。 ssion.post('http://www.renren.com/PLogin.do', data = data) # ssion包含用戶登錄后的Cookie值，可以直接訪問那些登錄后才可以訪問的頁面。 r = ssion.get('http://demo./customer/index.shtml',headers=headers) # 響應(yīng)內(nèi)容轉(zhuǎn)碼。 r.encoding = 'utf-8' # 打印響應(yīng)內(nèi)容。 print(r.text) 運行結(jié)果：
1.14 重定向和重定向歷史。默認情況下，除了 HEAD, Requests 會自動處理所有重定向。 可以使用響應(yīng)對象的 history 方法來追蹤重定向。 Response.history 是一個 Response 對象的列表，為了完成請求而創(chuàng)建了這些對象。這個對象列表按照從最老到最近的請求進行排序。 例如：Github 將所有的 HTTP 請求重定向到 HTTPS。 import requests r = requests.get('http://github.com') print(r.url) #'https://github.com/' print(r.status_code) # 200 print(r.history) #[<Response [301]>] 如果你使用的是GET、OPTIONS、POST、PUT、PATCH 或者 DELETE，那么你可以通過 allow_redirects 參數(shù)禁用重定向處理： import requests r = requests.get('http://github.com',allow_redirects=False) print(r.status_code) # 301 print(r.history) #[] 如果你使用了 HEAD，你也可以啟用重定向： 例子： import requests r = requests.get('http://github.com',allow_redirects=False) print(r.url) #'https://github.com/' print(r.history) #[<Response [301]>] 1.15 請求超時設(shè)置。你可以告訴 requests 在經(jīng)過以 timeout 參數(shù)設(shè)定的秒數(shù)時間之后停止等待響應(yīng)。 requests.get('http://github.com', timeout=0.001) 1.16 代理（proxies參數(shù)）如果需要使用代理，你可以通過為任意請求方法提供 proxies 參數(shù)來配置單個請求。 例子： import requests # 根據(jù)協(xié)議類型，選擇不同的代理 proxies = { 'http': 'http://12.34.56.79:9527', 'https': 'http://12.34.56.79:9527', } response = requests.get('http://www.baidu.com', proxies = proxies) print response.text 也可以通過本地環(huán)境變量 HTTP_PROXY 和 HTTPS_PROXY 來配置代理： export HTTP_PROXY='http://12.34.56.79:9527' export HTTPS_PROXY='https://12.34.56.79:9527' 1.17 私密代理驗證（特定格式） 和 Web客戶端驗證（auth 參數(shù)）。urllib.request庫 的做法比較復雜，requests只需要一步。 1.私密代理。 例子： import requests # 如果代理需要使用HTTP Basic Auth，可以使用下面這種格式： proxy = { 'http': 'xny_123:abc123@61.158.163.130:16816' } response = requests.get('http://www.baidu.com', proxies = proxy) print(response.text) 2.web客戶端驗證。 如果是Web客戶端驗證，需要添加 auth = (賬戶名, 密碼)。 例子： import requests auth=('xiaony', 'xny123') response = requests.get('http://192.168.1.102', auth = auth) print(response.text) 1.18 處理HTTPS請求 SSL證書驗證。Requests也可以為HTTPS請求驗證SSL證書。 要想檢查某個主機的SSL證書，你可以使用 verify 參數(shù)（也可以不寫）。 例子： import requests r = requests.get('https://www.baidu.com/', verify=True) # 也可以省略不寫 # r = requests.get('https://www.baidu.com/') print(r.encoding) # 響應(yīng)轉(zhuǎn)碼 r.encoding = 'utf-8' print(r.text) 運行結(jié)果： ------------------------------- 個人今日頭條賬號： 聽海8 （上面上傳了很多相關(guān)學習的視頻以及我書里的文章，大家想看視頻，可以關(guān)注我的今日頭條）
|
|
|
