|
爬蟲簡介 根據(jù)百度百科定義：網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲。 隨著大數(shù)據(jù)的不斷發(fā)展，爬蟲這個(gè)技術(shù)慢慢走入人們的視野，可以說爬蟲是大數(shù)據(jù)應(yīng)運(yùn)而生的產(chǎn)物，至少我解除了大數(shù)據(jù)才了解到爬蟲這一技術(shù) 隨著數(shù)據(jù)的海量增長，我們需要在互聯(lián)網(wǎng)上選取所需要的數(shù)據(jù)進(jìn)行自己研究的分析和實(shí)驗(yàn)。這就用到了爬蟲這一技術(shù)，下面就跟著小編一起初遇python爬蟲！ 一、請(qǐng)求-響應(yīng)在利用python語言實(shí)現(xiàn)爬蟲時(shí)，主要用到了urllib和urllib2兩個(gè)庫。首先用一段代碼說明如下： import urllib import urllib2 url='http://www.baidu.com' request=urllib2.Request(url) response=urllib2.urlopen(request) print response.read() 我們知道一個(gè)網(wǎng)頁就是以html為骨架，js為肌肉，css為衣服所構(gòu)成的。上述代碼所實(shí)現(xiàn)的功能就是把百度網(wǎng)頁的源碼爬取到本地。 其中，url為要爬取的網(wǎng)頁的網(wǎng)址；request發(fā)出請(qǐng)求，response是接受請(qǐng)求后給出的響應(yīng)。最后用read（）函數(shù)輸出的就是百度網(wǎng)頁的源碼。二、GET-POST兩者都是向網(wǎng)頁傳遞數(shù)據(jù)，最重要的區(qū)別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)，當(dāng)然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內(nèi)容。 POST則不會(huì)在網(wǎng)址上顯示所有的參數(shù)，不過如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。 POST方式： import urllib import urllib2 values={'username':'2680559065@qq.com','Password':'XXXX'} data=urllib.urlencode(values) url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn' request=urllib2.Request(url,data) response=urllib2.urlopen(request) print response.read() GET方式： import urllib import urllib2 values={'username':'2680559065@qq.com','Password':'XXXX'} data=urllib.urlencode(values) url = 'http://passport.csdn.net/account/login' geturl = url + '?'+data request=urllib2.Request(geturl) response=urllib2.urlopen(request) print response.read() 三、異常處理處理異常時(shí)，用到了try-except語句。 import urllib2 try: response=urllib2.urlopen('http://www.') except urllib2.URLError,e: print e.reason 總結(jié) 以上所述是小編給大家介紹的python爬蟲基本知識(shí)，希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的 |
|
|
