Digital Overlap 與上一期介紹的Dual conversion gain一樣，都是目前比較流行的sensor HDR 技術(shù)，在監(jiān)控與車載相機(jī)等領(lǐng)域的應(yīng)用非常廣泛。Sony于2012年在監(jiān)控相機(jī)市場首先推出基于DOL（digital overlap） HDR技術(shù)的圖像傳感器，之后OV與Onsemi也都推出了與DOL類似的HDR技術(shù)的圖像傳感器，而且應(yīng)用領(lǐng)域不局限于監(jiān)控這種傳統(tǒng)HDR imaging的市場，而且擴(kuò)展到了Automotive camera市場。現(xiàn)在Sony已經(jīng)推出了第二代支持虛擬通道DOL HDR技術(shù)的sensor。

1.什么是時(shí)域多幀HDR技術(shù)

相機(jī)在時(shí)間上連續(xù)輸出由欠曝到過曝的圖像，然后做圖像融合，得到HDR圖像。

融合后HDR圖像

比較典型的一種融合方法是根據(jù)luminance，contrast，motion等條件，對(duì)第K幀圖像的像素[i，j]給出權(quán)重。Wij,k 是第K幀，位置i，j像素的權(quán)重，Xk((i,j)是原始像素值，Xf（i，j）是融合后的像素值。公式如下

對(duì)彩色圖像，權(quán)重的計(jì)算會(huì)考慮色彩的飽和度等因素。

2.傳統(tǒng)時(shí)域多幀HDR技術(shù)存在的局限

由于傳統(tǒng)時(shí)域多幀是基于連續(xù)曝光的整幀圖像（Frame Based）進(jìn)行融合，所以圖像之間的間隔時(shí)間就是一幀圖像的周期，由此會(huì)產(chǎn)生很多artefacts：

場景內(nèi)物體增減

近距離物體快速移動(dòng)形成拖影

Color artefact

Frame based的多曝光HDR技術(shù)常用于still image 的capture，也有視頻HDR 采用這種技術(shù)，比如sensor以60fps的幀率交替輸出長短曝光，融合后輸出30fps的HDR圖像。

早期的HDR video有采用這種技術(shù)，自從DOL技術(shù)出現(xiàn)后，這種Frame based Video HDR技術(shù)就逐漸退出歷史舞臺(tái)了。

3.什么是DOL HDR

DOL HDR 也叫做line interleaving HDR 技術(shù)。以兩曝光DOL為例，sensor每行會(huì)以長短曝光兩次先后輸出，從readout角度來看，就是長曝光幀與短曝光幀 line interleaving 依次輸出，如下圖，第一行L輸出，第一行S輸出，第二行L輸出，第二行S輸出，以此類推。

frame based HDR，長短曝光幀的間隔是一個(gè)幀周期，也就是必須一整幀（長）曝光結(jié)束，再開始一整幀（短）曝光，如下圖

對(duì)于DOL HDR而言，由于line interleaving（行的交織），存在兩幀的overlap，等于一幀輸出沒結(jié)束，下一幀就來了，長短曝光幀的間隔大大縮小了。

從下圖可見，長曝光幀與短曝光幀overlap了一部分，所以這種技術(shù)叫digital overlap。

4.DOL長短曝光幀的時(shí)間間隔

前邊說過，F(xiàn)rame based HDR的長短曝光幀的間隔是一幀的時(shí)間，那么DOL HDR的長短曝光幀的時(shí)間間隔是多大呢？

如果先輸出長曝光的話

如果先輸出短曝光的話

T= long exposure 的時(shí)間

所以當(dāng)然是先輸出長曝光，這樣T（時(shí)間間隔）會(huì)更小。。

5.DOL長短曝光時(shí)間比與動(dòng)態(tài)范圍擴(kuò)展

以兩曝光DOL 為例

Exposure ratio = Long exposure time/ short exposure time

假設(shè)Exposure ratio = 16，假設(shè)在xinhao 沒有飽和的條件下，相當(dāng)于曝光最大值增大了16倍：2^4。也就是動(dòng)態(tài)范圍擴(kuò)大了4個(gè)bit。

以此類推，每增加一個(gè)曝光幀，如果exposure ratio =16，動(dòng)態(tài)范圍就可以擴(kuò)大4bit。

按照一般HDR sensor 單曝光為12bit來算的話，4曝光就可以讓sensor輸出的動(dòng)態(tài)范圍擴(kuò)大到24bit（12+4+4+4)。

exposure ratio 也不是越大越好，exposure ratio會(huì)受到三方面的制約，圖像質(zhì)量，sensor設(shè)計(jì)以及isp line delay buffer。

從圖像質(zhì)量上來說，短曝光時(shí)間越短，圖像噪聲越高，長曝光越長，motion的影響越大。Exposure Ratio越大，在圖像融合后的SNR drop也越大。

從sensor設(shè)計(jì)上來說，長短曝光之比受到讀出電路的限制，sony的DOL第二代采用虛擬通道技術(shù)一定程度改善了這個(gè)限制。

從ISP的角度來說line delay buffer 也限制了最大曝光時(shí)間。在短曝光行出來之前，第一個(gè)長曝光行應(yīng)該還在delay buffer里，這樣才能兩者對(duì)齊好給后面的frame stitch操作。而長短曝光比越大，需要的line delay buffer就越大。

對(duì)于sensor做hdr融合case而言，line delay buffer size就是固定的，所以ISP傾向于在isp這端做HDR融合，這樣可以更靈活的設(shè)計(jì)。（Maver注：對(duì)于車載而言，帶寬是個(gè)主要關(guān)注點(diǎn)，所以大部分用戶不會(huì)選擇在ISP側(cè)做HDR融合）

6.DOL的局限

Sony在推出DOL的時(shí)候，宣傳DOL是'準(zhǔn)同時(shí)’輸出長短曝光。既然是'準(zhǔn)同時(shí)’，那就還不是同時(shí)，所以也會(huì)有一些典型時(shí)域多幀HDR的圖像質(zhì)量問題，同時(shí)DOL也有一些特有的IQ問題。

HDR Transition Artefacts

可以從下左圖看到composition noise造成的edge，這種edge有時(shí)候會(huì)誤導(dǎo)機(jī)器視覺。

從DOL hdr的noise profile可以看出來，如下圖，在HDR拼接處，可以看到SNR的顯著變化，叫做snr drop，當(dāng)SNR drop大的時(shí)候，就會(huì)出現(xiàn)明顯的edge，如上圖所示。

曝光比越小，SNR drop就越小, 可以想見，如果曝光比為1，也就沒有snr drop了。反之，曝光比越大，動(dòng)態(tài)范圍越大，snr drop也越大，如下圖所示。

Flicker

交流電供電光源造成的flickering，如下圖：

為了避免banding，就得讓最小曝光時(shí)間是半周期的整數(shù)倍。

這樣就不會(huì)出現(xiàn)banding了。但是由于最小曝光時(shí)間變大了，動(dòng)態(tài)范圍就損失了。所以有時(shí)候?yàn)榱吮ＷC不損失動(dòng)態(tài)范圍，就得容忍Flickering。這就得看應(yīng)用場景了。

類似的問題發(fā)生在PWM供電的Led光源上，尤其是交通信號(hào)燈以及汽車信號(hào)燈，如下圖所示

sensor的長曝光幀能catch到led 的light pulse，但是短曝光幀就沒catch到，這樣也會(huì)造成flickering甚至信號(hào)燈圖像的丟失。

這種flicker或者信號(hào)燈信息丟失的問題在車載成像系統(tǒng)上是致命的，所以車載HDR現(xiàn)在更傾向采用spatial based HDR技術(shù)，比如Sony采用的sub pixel技術(shù)或者OV 采用的split pixel技術(shù)，我們下一期再繼續(xù)介紹。

轉(zhuǎn)載：全棧芯片工程師