Python網(wǎng)頁解析：BeautifulSoup vs lxml.html

imelee 2017-02-28

展開全文

Python里常用的網(wǎng)頁解析庫有BeautifulSoup和lxml.html，其中前者可能更知名一點吧，熊貓開始也是使用的BeautifulSoup，但是發(fā)現(xiàn)它實在有幾個問題繞不過去，因此最后采用的還是lxml：

BeautifulSoup太慢。熊貓原來寫的程序是需要提取不定網(wǎng)頁里的正文，因此需要對網(wǎng)頁進行很多DOM解析工作，經(jīng)過測試可以認(rèn)定BS平均比lxml要慢10倍左右。原因應(yīng)該是libxml2+libxslt的原生C代碼比python還是要更快吧
BS依賴python自帶的sgmllib，但是這個sgmllib至少有兩個問題。首先，它解析“class=我的CSS類”這樣的字符串會有問題，參考下面的代碼就知道了。
```
from BeautifulSoup import BeautifulSoup
html = u'<div class=我的CSS類>hello</div>'
print BeautifulSoup(html).find('div')['class']
```
打印出來的結(jié)果是長度為零的字符串，而不是“我的CSS類”。

不過這個問題可以通過外圍代碼來解決，只要改寫一下sgmllib的attrfind這個查找元素屬性的正則就行，可以改成
```
sgmllib.attrfind = re.compile(r'\s*([a-zA-Z_][-.:a-zA-Z_0-9]*)(\s*=\s*(\'[^\']*\'|"[^"]*"|[^\s^\'^\"^>]*))?')
```
這個問題可以說是網(wǎng)頁書寫不規(guī)范造成的，也不能怨sgmllib吧，但是這和BS原來希望能解析格式不好的HTML的宗旨是相違背的。

但是第二個問題就比較要命了，參看下面的示例代碼。
```
from BeautifulSoup import BeautifulSoup
html = u'<a onclick="if(x>10) alert(x);" href="javascript:void(0)">hello</a>'
print BeautifulSoup(html).find('a').attrs
```
打印出來的結(jié)果是：
```
[(u'onclick', u'if(x>10) alert(x);')]
```
顯然其中的href屬性被拋棄了，原因就是sgmllib庫在解析屬性的時候一旦遇到了>等特殊符號就會結(jié)束屬性的解析，要解決這個問題，只能修改sgmllib中SGMLParser的parse_starttag代碼，找到292行，即k = match.end(0)這一行，添加下面的代碼即可：
```
if k > j:
    match = endbracket.search(rawdata, k+1)
    if not match: return -1
    j = match.start(0)
```

因此對比起來lxml會好很多，也許在解析某些HTML的時候真的會出問題，但是就現(xiàn)在使用的情況來說還是挺好的。而且lxml的xpath感覺真的很棒，幾年前在折騰ASP.NET/Web Service的時候?qū)W習(xí)過XPath/XSLT之類的東西，但是實用其實挺少的，這次用lxml的xpath，能速度搞定一大堆較繁瑣的元素查找，簡直太爽了。例如要查找所有有name屬性和content屬性的meta元素：