在做爬蟲的過程中，網(wǎng)頁元素的定位是比較重要的一環(huán)，本文總結(jié)了python爬蟲中比較常用的三種定位網(wǎng)頁元素的方式。
1.普通的BeautifulSoup find系列操作
2.BeautifulSoup css選擇器
3. xpath
這三種方式靈活運(yùn)用，再配合上正則表達(dá)式，沒有什么網(wǎng)頁能難倒你啦。
我們以獲取豆瓣電影top250第一頁的電影標(biāo)題為例來比較：
import requests
from bs4 import BeautifulSoup
from lxml import etree
# 通過find定位標(biāo)簽
# BeautifulSoup文檔：https://www./software/BeautifulSoup/bs4/doc/index.zh.html
def bs_parse_movies(html):
movie_list = []
soup = BeautifulSoup(html, "lxml")
# 查找所有class屬性為hd的div標(biāo)簽
div_list = soup.find_all('div', class_='hd')
# 獲取每個(gè)div中的a中的span（第一個(gè)），并獲取其文本
for each in div_list:
movie = each.a.span.text.strip()
movie_list.append(movie)
return movie_list
# css選擇器定位標(biāo)簽
# 更多ccs選擇器語法：http://www.w3school.com.cn/cssref/css_selectors.asp
# 注意：BeautifulSoup并不是每個(gè)語法都支持
def bs_css_parse_movies(html):
movie_list = []
soup = BeautifulSoup(html, "lxml")
# 查找所有class屬性為hd的div標(biāo)簽下的a標(biāo)簽的第一個(gè)span標(biāo)簽
div_list = soup.select('div.hd > a > span:nth-of-type(1)')
# 獲取每個(gè)span的文本
for each in div_list:
movie = each.text.strip()
movie_list.append(movie)
return movie_list
# XPATH定位標(biāo)簽
# 更多xpath語法：https://blog.csdn.net/gongbing798930123/article/details/78955597
def xpath_parse_movies(html):
et_html = etree.HTML(html)
# 查找所有class屬性為hd的div標(biāo)簽下的a標(biāo)簽的第一個(gè)span標(biāo)簽
urls = et_html.xpath("http://div[@class='hd']/a/span[1]")
movie_list = []
# 獲取每個(gè)span的文本
for each in urls:
movie = each.text.strip()
movie_list.append(movie)
return movie_list
def get_movies():
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36',
'Host': 'movie.douban.com'
}
link = 'https://movie.douban.com/top250'
r = requests.get(link, headers=headers, timeout=10)
print("響應(yīng)狀態(tài)碼:", r.status_code)
if 200 != r.status_code:
return None
# 三種定位元素的方式：
# 普通BeautifulSoup find
return bs_parse_movies(r.text)
# BeautifulSoup css select
return bs_css_parse_movies(r.text)
# xpath
return xpath_parse_movies(r.text)
movies = get_movies()
print(movies)
