下面我們來看一下ImagePipeline的工作流程

• 爬取一個(gè)item，將圖片的urls存入image_urls字段
• 從Spider返回的item，傳遞到Item Pipeline，

當(dāng)Item傳遞到ImagePipeline后，將調(diào)用Scrapy調(diào)度器和下載器完成image_urls中的URL的調(diào)度和下載。ImagePipeline會自動高優(yōu)先級抓取這些url，與此同時(shí)，item會被鎖定直到圖片抓取完畢才解鎖。

• 這些圖片下載完成后，圖片下載路徑、url和校驗(yàn)等信息會被填充到images字段中。

啟動一個(gè)項(xiàng)目，項(xiàng)目名稱為douban_img

scrapy startproject douban_img

首先我們來看items.py

# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc./en/latest/topics/items.html
import scrapy
class DoubanImgItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_urls = scrapy.Field()
    image_paths = scrapy.Field()

爬取圖片一定需要image_urls這個(gè)字段，否則無法完成圖片的抓取。

接下看最主要的spider文件，新建一個(gè)文件download_douban.py。

from scrapy.spider import Spider
import re
from scrapy import Request 
from douban_img.items import DoubanImgItem
class download_douban(Spider):
name = 'download-douban'
default_headers = {
'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept' : 'gzip, deflate, sdch, br',
'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',
'Cache-Control' : 'max-age=0',
'Connection' : 'keep-alive',
'Host' : 'www.douban.com',
'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def __init__(self, url='1656889999', *args, **kwargs):
self.allowed_domains = ['douban.com']
self.start_urls = ['https://www.douban.com/photos/album/%s/' % (url)]
# self.url = url
def start_requests(self):
for url in self.start_urls:
yield Request(url = url, headers = self.default_headers, callback = self.parse) 
def parse(self, response):
list_imgs = response.xpath('//div[@class="photolst clearfix"]//img/@src').extract()#注意這里不能再使用extract()[0]
# print (list_imgs)
if list_imgs:
item = DoubanImgItem()
item['image_urls'] = list_imgs
yield item

這里一開始還是引包，看過我之前scrapy系列文章的朋友這里應(yīng)該很熟悉了。接下來定義一個(gè)類download_douban，在里面定義我們的爬蟲名稱，以及開始爬蟲的urls。這里建立了一個(gè)default_headers，由于我們只是爬取幾張圖片，因此簡單偽裝一下即可，并不需要登錄。在parse解析函數(shù)中，最主要的就是把得到圖片的urls傳入item的image_urls字段。這里需要提醒一下大家，ImagePipeline要求['image_urls']字段必須是一個(gè)列表，就算只有一個(gè)url，也必須是一個(gè)列表，因此這里使用extract()而不是extract().[0]，我在這里卡了好長時(shí)間。

接下來看pipelines.py文件

# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc./en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy import Request
from scrapy import log
class DoubanImgPipeline(object):
    def process_item(self, item, spider):
        return item
class DoubanDownImgloadPipeline(ImagesPipeline):
"""docstring for DoubanDownloadPipeline"""
default_headers = {
'accept' : 'image/webp,image/*,*/*;q=0.8',
'accept-encoding' : 'gzip, deflate, sdch, br',
'accept-language' : 'zh-CN,zh;q=0.8,en;q=0.6',
'cookie' : 'bid=yQdC/AzTaCw',
'referer' : 'https://www.douban.com/photos/photo/2370443040/',
'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
self.default_headers['referer'] = image_url
yield Request(image_url, headers = self.default_headers)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
item['image_paths'] = image_paths
return item

在這個(gè)py文件中，我們定義了DoubanDownImgloadPipeline這個(gè)類，這個(gè)類繼承于ImagesPipeline。在這里定義了兩個(gè)函數(shù)，一個(gè)是根據(jù)傳入的urls來發(fā)起請求，請求完成后直接調(diào)用item_completed函數(shù)來處理得到的圖片。get_media_requests函數(shù)中，發(fā)起請求的時(shí)候，不需要指定回調(diào)函數(shù)，ImagePipeline會自動調(diào)用item_completed函數(shù)來處理。

最后我們看一個(gè)settings.py文件，對該項(xiàng)目進(jìn)行一些配置。

首先還是配置一個(gè)User-agent

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

使用我們自己定義的pipeline

ITEM_PIPELINES = {
   'douban_img.pipelines.DoubanDownImgloadPipeline': 300,
}

設(shè)置圖片存放的目錄以及有效期

IMAGES_STORE = 'D:\\doubanimgs'
IMAGES_EXPIRES = 90

配置結(jié)束后保存，返回到命令行運(yùn)行一下

scrapy crawl download-douban

下面是運(yùn)行結(jié)果截圖

這個(gè)程序比較簡單，我們只是抓取了某個(gè)相冊中第一頁的圖片，有興趣的朋友可以試試把該相冊中的所有圖片都抓取下來，可以用到上一篇文章提到的結(jié)構(gòu)，當(dāng)然這種情況就需要登錄豆瓣了。

好了，以上就是今天的全部內(nèi)容。

與您共勉！