|
本文介紹了如何在樹(shù)莓派上，使用 OpenCV 和 Python 完成人臉檢測(cè)項(xiàng)目。該項(xiàng)目不僅描述了識(shí)別人臉?biāo)枰木唧w步驟，同時(shí)還提供了很多擴(kuò)展知識(shí)。此外，該項(xiàng)目并不需要讀者了解詳細(xì)的人臉識(shí)別理論知識(shí)，因此初學(xué)者也能輕松跟著步驟實(shí)現(xiàn)。
項(xiàng)目所需設(shè)備
硬件： 樹(shù)莓派 3 Model B； 樹(shù)莓派攝像頭模塊（PiCam）。
語(yǔ)言和庫(kù)：
步驟
本文主要講述如何使用 PiCam 實(shí)現(xiàn)實(shí)時(shí)人臉識(shí)別，如下圖所示：
本教程使用 OpenCV 完成，一個(gè)神奇的「開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)」，并主要關(guān)注樹(shù)莓派（因此，操作系統(tǒng)是樹(shù)莓派系統(tǒng)）和 Python，但是我也在 Mac 電腦上測(cè)試了代碼，同樣運(yùn)行很好。OpenCV 具備很強(qiáng)的計(jì)算效率，且專(zhuān)門(mén)用于實(shí)時(shí)應(yīng)用。因此，它非常適合使用攝像頭的實(shí)時(shí)人臉識(shí)別。要?jiǎng)?chuàng)建完整的人臉識(shí)別項(xiàng)目，我們必須完成3個(gè)階段：
1）人臉檢測(cè)和數(shù)據(jù)收集； 2）訓(xùn)練識(shí)別器； 3）人臉識(shí)別。
如下圖所示：
第1步：材料清單
主件：
第2步：安裝OpenCV 3包
我使用的是更新了最新版樹(shù)莓派系統(tǒng)（Stretch）的樹(shù)莓派 V3，因此安裝 OpenCV 的最佳方式是按照 Adrian Rosebrock 寫(xiě)的教程來(lái)進(jìn)行：《Raspbian Stretch: Install OpenCV 3 Python on your Raspberry Pi》。經(jīng)過(guò)幾次嘗試后，我覺(jué)得Adrian的教程最好，建議按照該教程一步步來(lái)安裝。
完成上述教程之后，你應(yīng)該安裝好了 OpenCV 虛擬環(huán)境，可用于在樹(shù)莓派設(shè)備上運(yùn)行本次實(shí)驗(yàn)。
我們來(lái)到虛擬環(huán)境，確認(rèn) OpenCV 3 已經(jīng)正確安裝。
Adrian 推薦在每次打開(kāi)新的終端時(shí)都運(yùn)行命令行「source」，以確保系統(tǒng)變量都得到正確設(shè)置。
然后，我們進(jìn)入虛擬環(huán)境：
如果你看到 (cv) 出現(xiàn)在提示符之前，那么你就進(jìn)入了 cv 虛擬環(huán)境：
Adrian 希望大家注意 cv Python 虛擬環(huán)境是完全獨(dú)立的，且與 Raspbian Stretch 中包含的默認(rèn) Python 版本彼此隔絕。因此，全局站點(diǎn)包目錄中的任意 Python 包對(duì)于 cv 虛擬環(huán)境而言都是不可用的。類(lèi)似地，cv 站點(diǎn)包中的任意 Python 包對(duì)于全局 Python 包安裝也都是不可用的。
現(xiàn)在，進(jìn)入 Python 解釋器：
確認(rèn)你正在運(yùn)行3.5（或以上）版本。
在解釋器內(nèi)部（將出現(xiàn)>>>），導(dǎo)入 OpenCV 庫(kù)：
如果沒(méi)有錯(cuò)誤信息，則 OpenCV 已在你的 Python 虛擬環(huán)境中正確安裝。
你還可以檢查已安裝的 OpenCV 版本：
將會(huì)出現(xiàn)3.3.0（或未來(lái)有可能發(fā)布更高版本）。
上面的終端截圖顯示了以上步驟。
第3步：測(cè)試攝像頭
在樹(shù)莓派上安裝 OpenCV 之后，我們測(cè)試一下，以確認(rèn)攝像頭正常運(yùn)轉(zhuǎn)。假設(shè)你已經(jīng)在樹(shù)莓派上安裝了 PiCam。
在 IDE 中輸入下列 Python 代碼：
import numpy as np
import cv2
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while(True):
ret, frame = cap.read()
frame = cv2.flip(frame, -1) # Flip camera vertically
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
cv2.imshow('frame', frame)
cv2.imshow('gray', gray)
k = cv2.waitKey(30) & 0xff
if k == 27: # press 'ESC' to quit
break
cap.release()
cv2.destroyAllWindows()
上面的代碼可捕捉PiCam生成的視頻流，用BGR顏色和灰色模式展示。
注意：我按照組裝方式垂直旋轉(zhuǎn)了攝像頭。如果你的情況并非如此，那么注釋或刪除「flip」命令行。
你還可以從我的 GitHub 下載代碼：https://github.com/Mjrovai/OpenCV-Object-Face-Tracking/blob/master/simpleCamTest.py
輸入下面的命令行，開(kāi)始執(zhí)行：
要完成該程序，你必須在鍵盤(pán)上按 [ESC] 鍵。在按 [ESC] 鍵之前，先鼠標(biāo)點(diǎn)擊視頻窗口。
上圖展示了結(jié)果。
想更多地了解 OpenCV，請(qǐng)查看該教程：https:///loading-video-python-opencv-tutorial/
第4步：人臉檢測(cè)
人臉識(shí)別的最基礎(chǔ)任務(wù)是「人臉檢測(cè)」。你必須首先「捕捉」人臉（第 1 階段）才能在未來(lái)與捕捉到的新人臉對(duì)比時(shí)（第 3 階段）識(shí)別它。
最常見(jiàn)的人臉檢測(cè)方式是使用「Haar 級(jí)聯(lián)分類(lèi)器」。使用基于 Haar 特征的級(jí)聯(lián)分類(lèi)器的目標(biāo)檢測(cè)是 Paul Viola 和 Michael Jones 2001 年在論文《Rapid Object Detection using a Boosted Cascade of Simple Features》中提出的一種高效目標(biāo)檢測(cè)方法。這種機(jī)器學(xué)習(xí)方法基于大量正面、負(fù)面圖像訓(xùn)練級(jí)聯(lián)函數(shù)，然后用于檢測(cè)其他圖像中的對(duì)象。這里，我們將用它進(jìn)行人臉識(shí)別。最初，該算法需要大量正類(lèi)圖像（人臉圖像）和負(fù)類(lèi)圖像（不帶人臉的圖像）來(lái)訓(xùn)練分類(lèi)器。然后我們需要從中提取特征。好消息是 OpenCV 具備訓(xùn)練器和檢測(cè)器。如果你想要訓(xùn)練自己的對(duì)象分類(lèi)器，如汽車(chē)、飛機(jī)等，你可以使用 OpenCV 創(chuàng)建一個(gè)。
詳情參見(jiàn)：https://docs./3.3.0/dc/d88/tutorial_traincascade.html。
如果不想創(chuàng)建自己的分類(lèi)器，OpenCV 也包含很多預(yù)訓(xùn)練分類(lèi)器，可用于人臉、眼睛、笑容等的檢測(cè)。相關(guān)的 XML 文件可從該目錄下載：https://github.com/Itseez/opencv/tree/master/data/haarcascades。
下面，我們就開(kāi)始用 OpenCV 創(chuàng)建人臉檢測(cè)器吧！
從我的 GitHub 下載文件 faceDetection.py：https://github.com/Mjrovai/OpenCV-Face-Recognition/blob/master/FaceDetection/faceDetection.py。
import numpy as np
import cv2
faceCascade = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while True:
ret, img = cap.read()
img = cv2.flip(img, -1)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.2,
minNeighbors=5,
minSize=(20, 20)
)
for (x,y,w,h) in faces:
cv2.rectangle(img,(x,y),(x w,y h),(255,0,0),2)
roi_gray = gray[y:y h, x:x w]
roi_color = img[y:y h, x:x w]
cv2.imshow('video',img)
k = cv2.waitKey(30) & 0xff
if k == 27: # press 'ESC' to quit
break
cap.release()
cv2.destroyAllWindows()
使用 Python 和 OpenCV 執(zhí)行人臉檢測(cè)，上面的幾行代碼就足夠了。注意下面的代碼：
faceCascade = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')
這行代碼可以加載「分類(lèi)器」（必須在項(xiàng)目文件夾下面的 Cascades/目錄中）。然后，我們?cè)谠谘h(huán)內(nèi)部調(diào)用攝像頭，并以 grayscale 模式加載我們的輸入視頻。現(xiàn)在，我們必須調(diào)用分類(lèi)器函數(shù)，向其輸入一些非常重要的參數(shù)，如比例因子、鄰近數(shù)和人臉檢測(cè)的最小尺寸。
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.2,
minNeighbors=5,
minSize=(20, 20)
)
其中：
gray 表示輸入 grayscale 圖像。 scaleFactor 表示每個(gè)圖像縮減的比例大小。 minNeighbors 表示每個(gè)備選矩形框具備的鄰近數(shù)量。數(shù)字越大，假正類(lèi)越少。 minSize 表示人臉識(shí)別的最小矩形大小。
該函數(shù)將檢測(cè)圖像中的人臉。接下來(lái)，我們必須「標(biāo)記」圖像中的人臉，比如，用藍(lán)色矩形。使用下列代碼完成這一步：
for (x,y,w,h) in faces:
cv2.rectangle(img,(x,y),(x w,y h),(255,0,0),2)
roi_gray = gray[y:y h, x:x w]
roi_color = img[y:y h, x:x w]
如果已經(jīng)標(biāo)記好人臉，則函數(shù)將檢測(cè)到的人臉的位置返回為一個(gè)矩形，左上角 (x,y)，w 表示寬度，h 表示高度 ==> (x,y,w,h)。詳見(jiàn)下圖。
得到這些位置信息后，我們可以為人臉創(chuàng)建一個(gè)「感興趣區(qū)域」（繪制矩形），用 imshow() 函數(shù)呈現(xiàn)結(jié)果。使用樹(shù)莓派終端，在你的 Python 環(huán)境中運(yùn)行上面的 Python 腳本：
結(jié)果如下：
你也可以加入諸如「眼睛檢測(cè)」甚至「微笑檢測(cè)」這樣的檢測(cè)器。在那些用例中，你需要把分類(lèi)器函數(shù)和矩形框內(nèi)加入原有的面部識(shí)別區(qū)域中，因?yàn)樵趨^(qū)域外進(jìn)行識(shí)別沒(méi)有意義。
注意，在樹(shù)莓派上，分類(lèi)方法（HaarCascades）會(huì)消耗大量算力，所以在同一代碼中使用多個(gè)分類(lèi)器將會(huì)顯著減慢處理速度。在臺(tái)式機(jī)上運(yùn)行這些算法則非常容易。
在我的 GitHub上你可以看到另外的例子：
faceEyeDetection.py faceSmileDetection.py faceSmileEyeDetection.py
在下圖中，你可以看到我們的結(jié)果：
要想深入理解面部識(shí)別，可以參考這一教程：https:///haar-cascade-face-eye-detection-python-opencv-tutorial/
第5步：收集數(shù)據(jù)
我推薦各位讀者可以查看以下兩個(gè)關(guān)于人臉識(shí)別的教程：
現(xiàn)在，我們項(xiàng)目的第一步是創(chuàng)建一個(gè)簡(jiǎn)單的數(shù)據(jù)集，該數(shù)據(jù)集將儲(chǔ)存每張人臉的 ID 和一組用于人臉檢測(cè)的灰度圖。
因此，以下命令行將為我們的項(xiàng)目創(chuàng)建一個(gè)目錄，目錄名可以如以下為 FacialRecognitionProject 或其它：
mkdir FacialRecognitionProject
在該目錄中，除了我們?yōu)轫?xiàng)目創(chuàng)建的 3 個(gè) Python 腳本外，我們還需要儲(chǔ)存人臉?lè)诸?lèi)器。我們可以從 GitHub 中下載：haarcascade_frontalface_default.xml。
下一步需要?jiǎng)?chuàng)建一個(gè)子目錄「dtatset」，并用它來(lái)儲(chǔ)存人臉樣本：
然后從我的 GitHub 中下載代碼 01_face_dataset.py。
import cv2
import os
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video width
cam.set(4, 480) # set video height
face_detector = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
# For each person, enter one numeric face id
face_id = input('\n enter user id end press <return> ==> ')
print('\n [INFO] Initializing face capture. Look the camera and wait ...')
# Initialize individual sampling face count
count = 0
while(True):
ret, img = cam.read()
img = cv2.flip(img, -1) # flip video image vertically
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_detector.detectMultiScale(gray, 1.3, 5)
for (x,y,w,h) in faces:
cv2.rectangle(img, (x,y), (x w,y h), (255,0,0), 2)
count = 1
# Save the captured image into the datasets folder
cv2.imwrite('dataset/User.' str(face_id) '.' str(count) '.jpg', gray[y:y h,x:x w])
cv2.imshow('image', img)
k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video
if k == 27:
break
elif count >= 30: # Take 30 face sample and stop video
break
# Do a bit of cleanup
print('\n [INFO] Exiting Program and cleanup stuff')
cam.release()
cv2.destroyAllWindows()
上述的代碼和人臉識(shí)別的代碼非常像，我們只是添加了一個(gè)「input command」來(lái)捕捉用戶 ID（整數(shù)）。
face_id = input('\n enter user id end press ==> ')
對(duì)于每一個(gè)捕捉的幀，我們應(yīng)該在「dataset」目錄中保存為文檔：
cv2.imwrite('dataset/User.' str(face_id) '.' str(count) '.jpg', gray[y:y h,x:x w])
對(duì)于保存上述文件，我們需要導(dǎo)入「os」庫(kù)，每一個(gè)文件的名字都服從以下結(jié)構(gòu)：
例如，對(duì)于 face_id = 1 的用戶，dataset/ 目錄下的第四個(gè)樣本文件名可能為：
在我的樹(shù)莓派中，該圖像可以打開(kāi)為：
在我的代碼中，我從每一個(gè) ID 捕捉 30 個(gè)樣本，我們能在最后一個(gè)條件語(yǔ)句中修改抽取的樣本數(shù)。如果我們希望識(shí)別新的用戶或修改已存在用戶的相片，我們就必須以上腳本。
第六步：訓(xùn)練
在第二階段中，我們需要從數(shù)據(jù)集中抽取所有的用戶數(shù)據(jù)，并訓(xùn)練 OpenCV 識(shí)別器，這一過(guò)程可由特定的 OpenCV 函數(shù)直接完成。這一步將在「trainer/」目錄中保存為.yml 文件。
所以，下面開(kāi)始創(chuàng)建子目錄以儲(chǔ)存訓(xùn)練數(shù)據(jù)：
從我的 GitHub 中下載第二個(gè) Python 腳本：02_face_training.py。
import cv2
import numpy as np
from PIL import Image
import os
# Path for face image database
path = 'dataset'
recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier('haarcascade_frontalface_default.xml');
# function to get the images and label data
def getImagesAndLabels(path):
imagePaths = [os.path.join(path,f) for f in os.listdir(path)]
faceSamples=[]
ids = []
for imagePath in imagePaths:
PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale
img_numpy = np.array(PIL_img,'uint8')
id = int(os.path.split(imagePath)[-1].split('.')[1])
faces = detector.detectMultiScale(img_numpy)
for (x,y,w,h) in faces:
faceSamples.append(img_numpy[y:y h,x:x w])
ids.append(id)
return faceSamples,ids
print ('\n [INFO] Training faces. It will take a few seconds. Wait ...')
faces,ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))
# Save the model into trainer/trainer.yml
recognizer.write('trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi
# Print the numer of faces trained and end program
print('\n [INFO] {0} faces trained. Exiting Program'.format(len(np.unique(ids))))
確定在 Rpi 中已經(jīng)安裝了 PIL 庫(kù)，如果沒(méi)有的話，在終端運(yùn)行以下命令：
我們將使用 LBPH（LOCAL BINARY PATTERNS HISTOGRAMS）人臉識(shí)別器，它由 OpenCV 提供：
recognizer = cv2.face.LBPHFaceRecognizer_create()
函數(shù)「getImagesAndLabels (path)」將抽取所有在目錄「dataset/」中的照片，并返回 2 個(gè)數(shù)組：「Ids」和「faces」。通過(guò)將這些數(shù)組作為輸入，我們就可以訓(xùn)練識(shí)別器。
recognizer.train(faces, ids)
在訓(xùn)練過(guò)后，文件「trainer.yml」將保存在我們前面定義的 trainer 目錄下。此外，我們還在最后使用了 print 函數(shù)以確認(rèn)已經(jīng)訓(xùn)練的用戶面部數(shù)量。
第7步：識(shí)別器
這是該項(xiàng)目的最后階段。這里，我們將通過(guò)攝像頭捕捉一個(gè)新人臉，如果這個(gè)人的面孔之前被捕捉和訓(xùn)練過(guò)，我們的識(shí)別器將會(huì)返回其預(yù)測(cè)的 id 和索引，并展示識(shí)別器對(duì)于該判斷有多大的信心。
讓我們從 GitHub 03_face_recognition.py 上下載第三階段的 python 腳本。
import cv2
import numpy as np
import os
recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('trainer/trainer.yml')
cascadePath = 'haarcascade_frontalface_default.xml'
faceCascade = cv2.CascadeClassifier(cascadePath);
font = cv2.FONT_HERSHEY_SIMPLEX
#iniciate id counter
id = 0
# names related to ids: example ==> Marcelo: id=1, etc
names = ['None', 'Marcelo', 'Paula', 'Ilza', 'Z', 'W']
# Initialize and start realtime video capture
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video widht
cam.set(4, 480) # set video height
# Define min window size to be recognized as a face
minW = 0.1*cam.get(3)
minH = 0.1*cam.get(4)
while True:
ret, img =cam.read()
img = cv2.flip(img, -1) # Flip vertically
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor = 1.2,
minNeighbors = 5,
minSize = (int(minW), int(minH)),
)
for(x,y,w,h) in faces:
cv2.rectangle(img, (x,y), (x w,y h), (0,255,0), 2)
id, confidence = recognizer.predict(gray[y:y h,x:x w])
# Check if confidence is less them 100 ==> '0' is perfect match
if (confidence < 100):
id = names[id]
confidence = ' {0}%'.format(round(100 - confidence))
else:
id = 'unknown'
confidence = ' {0}%'.format(round(100 - confidence))
cv2.putText(img, str(id), (x 5,y-5), font, 1, (255,255,255), 2)
cv2.putText(img, str(confidence), (x 5,y h-5), font, 1, (255,255,0), 1)
cv2.imshow('camera',img)
k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video
if k == 27:
break
# Do a bit of cleanup
print('\n [INFO] Exiting Program and cleanup stuff')
cam.release()
cv2.destroyAllWindows()
這里我們包含了一個(gè)新數(shù)組，因此我們將會(huì)展示「名稱(chēng)」，而不是編號(hào)的 id：
names = ['None', 'Marcelo', 'Paula', 'Ilza', 'Z', 'W']
所以，如上所示的列表，Marcelo 的 ID 或索引為 1，Paula 的 ID 等于 2。
下一步，我們將檢測(cè)一張人臉，正如我們?cè)谥暗?haasCascade 分類(lèi)器中所做的那樣。
id, confidence = recognizer.predict(gray portion of the face)
recognizer.predict () 將把待分析人臉的已捕捉部分作為一個(gè)參數(shù)，并返回其可能的所有者，指示其 id 以及識(shí)別器與這一匹配相關(guān)的置信度。
注意，如果匹配是完美的，置信度指數(shù)將返回「零」。
最后，如果識(shí)別器可以預(yù)測(cè)人臉，我們將在圖像上放置一個(gè)文本，帶有可能的 id，以及匹配是否正確的概率（概率=100 - 置信度指數(shù)）。如果沒(méi)有，則把「未知」的標(biāo)簽放在人臉上。
下面是這一結(jié)果的圖片：
在這張圖像上，我展示了一些由該項(xiàng)目完成的測(cè)試，其中我也使用圖像驗(yàn)證識(shí)別器是否有效。
第 8 步：結(jié)語(yǔ)
我希望該項(xiàng)目能幫助其他人發(fā)現(xiàn)更好玩的項(xiàng)目，也希望有助于各位讀者實(shí)現(xiàn)自己的人臉識(shí)別應(yīng)用。
|
