圖像取證
在當(dāng)今飛速發(fā)展的信息時(shí)代，數(shù)字圖像已經(jīng)滲透到社會(huì)生活的每一個(gè)角落，數(shù)字圖像的廣泛使用也促進(jìn)了數(shù)字圖像編輯軟件的開(kāi)發(fā)與應(yīng)用，例如：Adobe Photoshop、CorelDRAW、美圖秀秀等等。利用這些編輯工具，用戶可以隨意對(duì)圖像進(jìn)行修改，從而達(dá)到更好的視覺(jué)效果。然而，在方便了用戶的同時(shí)，也給一些不法分子以可乘之機(jī)。在未經(jīng)授權(quán)的情況下，不法分子對(duì)圖像內(nèi)容進(jìn)行非法操作，如違規(guī)編輯、合成虛假圖像等，從而造成篡改圖像在人們社會(huì)生活中泛濫成災(zāi)。圖像取證技術(shù)就是在這樣的背景下提出，旨在通過(guò)盲分析手段認(rèn)證圖像數(shù)據(jù)的原始性和真實(shí)性、鑒別和分析圖像所經(jīng)歷的操作處理及估計(jì)圖像的操作歷史。
數(shù)字圖像的完整周期包含三個(gè)部分：圖像獲取、圖像編碼、圖像編輯，如圖1所示。
圖1 數(shù)字圖像的完整周期
在圖像獲取過(guò)程中，真實(shí)場(chǎng)景中的光線通過(guò)相機(jī)鏡頭投射到相機(jī)傳感器（如CCD或者CMOS傳感器），產(chǎn)生數(shù)字圖像信號(hào)。在投射到相機(jī)傳感器之前，通常光首先經(jīng)過(guò)CFA濾波處理，即每個(gè)像素點(diǎn)只會(huì)包含一種主要的顏色分量（紅、綠、藍(lán)）。在相機(jī)傳感器之后會(huì)進(jìn)行CFA差值(也稱去馬賽克處理），從而獲取每個(gè)像素點(diǎn)的紅綠藍(lán)三通道分量。然后獲取的數(shù)字圖像信號(hào)會(huì)經(jīng)歷相機(jī)內(nèi)部的軟件處理，比如白平衡、對(duì)比度增強(qiáng)、圖像銳化、伽馬矯正等等。
在圖像編碼部分，經(jīng)過(guò)處理后的數(shù)字圖像信號(hào)為了節(jié)省相機(jī)內(nèi)存通常會(huì)經(jīng)過(guò)有失真壓縮處理，最常見(jiàn)的壓縮方式為JPEG壓縮。部分壓縮后的數(shù)字圖像為了獲得更好的視覺(jué)效果會(huì)進(jìn)行后處理操作，任何的圖像編輯都可以應(yīng)用在后處理操作，經(jīng)常使用的編輯為：幾何變換（旋轉(zhuǎn)、縮放等）、模糊、銳化、對(duì)比度調(diào)整、圖像拼接、復(fù)制-粘貼。經(jīng)過(guò)編輯后的數(shù)字圖像重新保存為JPEG格式形成最終的數(shù)字圖像。
數(shù)字圖像取證的出發(fā)點(diǎn)是通過(guò)提取數(shù)字圖像周期中留下的固有痕跡進(jìn)行分析和理解數(shù)字圖像的操作歷史。以上介紹的數(shù)字圖像完整周期的三個(gè)部分，每一部分都會(huì)留下不同的操作痕跡（指紋特性），即獲取指紋、編碼指紋、編輯指紋。在圖像獲取指紋研究中，根據(jù)鏡頭特性、傳感器特性、CFA模式等引入數(shù)字圖像中的不同指紋特性對(duì)數(shù)字圖像進(jìn)行分析。在圖像編碼指紋研究中，JPEG壓縮以及多重JPEG壓縮檢測(cè)是主要關(guān)注的問(wèn)題。在圖像編輯指紋特性研究中，基于信號(hào)處理和基于物理/幾何的技術(shù)被提出。利用信號(hào)處理技術(shù)進(jìn)行復(fù)制粘貼檢測(cè)、重采樣檢測(cè)、對(duì)比度增強(qiáng)檢測(cè)、線裁剪檢測(cè)等，利用光線/陰影進(jìn)行拼接檢測(cè)以及利用幾何關(guān)系的一致性檢測(cè)拼接處理都是取證研究中的熱點(diǎn)問(wèn)題。
圖像取證深度學(xué)習(xí)之風(fēng)
不同于傳統(tǒng)的圖像取證算法，深度學(xué)習(xí)算法將特征提取和特征分類整合到一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中，實(shí)現(xiàn)了一種end-to-end的自動(dòng)特征學(xué)習(xí)分類的有效算法。從當(dāng)前的研究工作來(lái)看，深度學(xué)習(xí)應(yīng)用于圖像取證領(lǐng)域大致可分為三個(gè)層次。
第一個(gè)層次是簡(jiǎn)單的遷移，即直接將CV領(lǐng)域常用的CNN網(wǎng)絡(luò)結(jié)構(gòu)引入到圖像取證領(lǐng)域。取證領(lǐng)域比較常用的網(wǎng)絡(luò)結(jié)構(gòu)為AlexNet，選擇此網(wǎng)絡(luò)結(jié)構(gòu)的原因，是因?yàn)锳lexNet網(wǎng)絡(luò)結(jié)構(gòu)相較于其他網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度相對(duì)較低并且性能較好，對(duì)于解決數(shù)據(jù)集少的取證問(wèn)題有更好的嘗試性條件。典型案例為L(zhǎng)uca Baroffio， Luca Bond等發(fā)表的文章“Camera Identification With Deep Convolutional Networks”， 文章提出用深度學(xué)習(xí)解決取證中的相機(jī)源辨別問(wèn)題。
第二個(gè)層次是嘗試對(duì)網(wǎng)絡(luò)輸入的修改，進(jìn)行此種嘗試的初衷是由取證問(wèn)題和CV問(wèn)題的本質(zhì)區(qū)別所驅(qū)使。取證問(wèn)題雖可歸類于識(shí)別、分類、定位問(wèn)題，但是對(duì)于分類問(wèn)題的類間差別取證分類問(wèn)題遠(yuǎn)小于CV分類問(wèn)題。舉個(gè)例子：ImageNet中的22000種類別之間的形態(tài)差異是較大的，比如貓和狗兩個(gè)類別之間的差異人眼可辨別；然而對(duì)于取證問(wèn)題，類別之間的形態(tài)差異是極其微小的，類間差別以微弱信號(hào)的形式存在；比如對(duì)于常見(jiàn)的雙重JPEG壓縮取證，需要解決的問(wèn)題是區(qū)分一幅圖像是經(jīng)歷過(guò)一次JPEG壓縮之后的圖像，還是經(jīng)歷過(guò)兩次JPEG壓縮之后的圖像。在兩次壓縮使用的壓縮因子（壓縮因子小于等于90）一致的前提條件下，內(nèi)容相同的兩幅圖像的DCT域統(tǒng)計(jì)類間差別小于0.4%（數(shù)據(jù)來(lái)源于Detecting Double JPEG Compression With the Same Quantization Matrix）。
基于取證問(wèn)題的此種特性，研究者嘗試對(duì)網(wǎng)絡(luò)的輸入進(jìn)行改進(jìn)，添加預(yù)處理層（或信號(hào)增強(qiáng)層）放大類間差別，此種嘗試取得較好的檢測(cè)效果。典型案例為Jiansheng Chen， Xiangui Kang等發(fā)表的文章“Median Filtering Forensics Based on Convolutional Neural Networks”，根據(jù)論文報(bào)告的試驗(yàn)結(jié)果，預(yù)處理層的添加對(duì)檢測(cè)準(zhǔn)確率有了7.22個(gè)百分點(diǎn)的提升。
第三個(gè)層次是對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的修改，結(jié)合取證的實(shí)際問(wèn)題提出適合于取證問(wèn)題的網(wǎng)絡(luò)結(jié)構(gòu)。典型案例為Belhassen Bayar， Matthew C. Stamm發(fā)表的文章“A Deep Learning ApprOAch To Universal Image Manipulation Detection Using A New Convolutional Layer”。
下面針對(duì)于不同的取證問(wèn)題介紹深度學(xué)習(xí)的應(yīng)用。據(jù)我們所知，到目前為止，深度學(xué)習(xí)應(yīng)用于取證領(lǐng)域的工作共有5篇，涉及到了取證問(wèn)題中的相機(jī)源取證、中值濾波取證、重獲取圖像取證以及反反取證。
1.相機(jī)源取證
相機(jī)源取證研究的問(wèn)題在于如何有效區(qū)分圖像采集所使用的設(shè)備型號(hào)或模式，相機(jī)源取證可以在一定程度上解決圖像版權(quán)問(wèn)題，例如一副具有版權(quán)保護(hù)的圖像未經(jīng)過(guò)作者授權(quán)被重新拍攝并發(fā)布，可以利用相機(jī)源取證技術(shù)區(qū)分圖像是由原始相機(jī)拍攝還是其他相機(jī)拍攝，從而判斷圖像版權(quán)所屬。
不同廠商生產(chǎn)的數(shù)碼相機(jī)之間存在著差異，相同廠商生產(chǎn)的不同型號(hào)的數(shù)碼相機(jī)之間也存在著差異，已有的傳統(tǒng)方案通過(guò)提取不同的相機(jī)存在的指紋特性實(shí)現(xiàn)對(duì)相機(jī)源的取證。Luca Baroffio， Luca Bond等人首次提出利用卷積神經(jīng)網(wǎng)絡(luò)的方法解決相機(jī)源取證問(wèn)題。文章所使用的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如圖2所示。該結(jié)構(gòu)使用了三個(gè)卷積層和兩個(gè)全連接層的結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)與AlexNet結(jié)構(gòu)相似。根據(jù)文章報(bào)告的實(shí)驗(yàn)結(jié)果，在相機(jī)源取證的benchmark庫(kù)中測(cè)試，對(duì)于27種相機(jī)模式分類的準(zhǔn)確率在94%以上。
圖2 基于深度學(xué)習(xí)的相機(jī)源取證算法網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)
2.中值濾波圖像取證
中值濾波圖像取證問(wèn)題一直被圖像取證領(lǐng)域所關(guān)注，取證目的是對(duì)圖像是否經(jīng)歷過(guò)中值濾波操作進(jìn)行判定。在圖像經(jīng)過(guò)篡改之后，為了去除篡改引入圖像中的特性，通常會(huì)對(duì)圖像進(jìn)行中值濾波操作，從而隱藏篡改操作痕跡。圖像是否經(jīng)歷過(guò)中值濾波操作對(duì)于判斷圖像篡改歷史提供了重要線索。傳統(tǒng)的圖像中值濾波取證算法對(duì)于小尺寸圖像和做過(guò)壓縮后處理的圖像性能有待提高。
Jiansheng Chen， Xiangui Kang等人首次提出利用深度學(xué)習(xí)解決中值濾波取證問(wèn)題，該工作發(fā)表在Signal Processing Letters IEEE， 2015。與此同時(shí)，這也是深度學(xué)習(xí)應(yīng)用在取證領(lǐng)域的第一個(gè)工作，為后續(xù)深度學(xué)習(xí)在取證領(lǐng)域的發(fā)展起到了重要的借鑒作用。該工作對(duì)網(wǎng)絡(luò)的輸入圖像做了預(yù)處理操作：
x(i ， j)表示原始圖像， medw(.)表示中值濾波操作，其中中值濾波窗口大小為w，d(i ， j)， 代表中值濾波圖像與原始圖像的差值圖像。做這樣預(yù)處理的動(dòng)機(jī)來(lái)源于之前傳統(tǒng)方案的設(shè)計(jì)。通過(guò)預(yù)處理操作，去除圖像內(nèi)容對(duì)檢測(cè)性能的影響同時(shí)也起到了放大圖像噪聲信號(hào)的作用。預(yù)處理操作的效果圖如圖3所示：
圖3 原始圖像、差值圖像、中值濾波圖像與原始圖像的差分圖像示例展示
(a)(b)(c)三幅圖像分布代表原始圖像，差值圖像以及中值濾波與原始圖像的差值圖像。從圖3(c)中可以看出中值濾波后的差值圖像中對(duì)原始圖像內(nèi)容的反映幾乎去除。
圖4 中值濾波深度網(wǎng)絡(luò)結(jié)構(gòu)圖
圖4中展示了該工作提出的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。濾波層實(shí)現(xiàn)的是式(1)的操作，緊接著的網(wǎng)絡(luò)結(jié)構(gòu)與AlexNet結(jié)構(gòu)類似，5個(gè)卷積層以及3個(gè)全連接層。根據(jù)文章中報(bào)告的實(shí)驗(yàn)結(jié)果，對(duì)于壓縮的小尺寸圖像（64x64、32x32）該方法實(shí)現(xiàn)了最好的檢測(cè)準(zhǔn)確率。為了測(cè)試濾波層的作用，作者在使用濾波層和不使用兩種情況下進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示濾波層對(duì)于檢測(cè)準(zhǔn)確率有7.22個(gè)百分點(diǎn)的提升。
基于Jiansheng Chen， Xiangui Kang等人的工作，Belhassen Bayar，Matthew C. Stamm提出一種新的卷積結(jié)構(gòu)。作者嘗試?yán)眯碌木矸e結(jié)構(gòu)捕獲圖像操作過(guò)程中引入的圖像臨近像素之間相關(guān)關(guān)系的變化，于此同時(shí)盡可能壓縮圖像內(nèi)容對(duì)于圖像操作引入的像素相關(guān)關(guān)系的影響。為了實(shí)現(xiàn)這樣的卷積結(jié)構(gòu)設(shè)計(jì)，作者對(duì)卷積核的屬性進(jìn)行了限制，使得網(wǎng)絡(luò)結(jié)構(gòu)可以自動(dòng)學(xué)習(xí)預(yù)測(cè)誤差濾波器集合，從而抑制圖像內(nèi)容的影響同時(shí)捕獲操作特性。限制條件如公式（2）所示：
w為新的卷積核，w(0，0)為卷積核中心位置的數(shù)值。新的卷積結(jié)構(gòu)只使用在第一層卷積中，從而實(shí)現(xiàn)圖像預(yù)處理卷積核的自動(dòng)學(xué)習(xí)。圖5、圖6分別展示了新的卷積結(jié)構(gòu)和文章提出的網(wǎng)絡(luò)結(jié)構(gòu)圖。
圖5 新卷積結(jié)構(gòu)圖示 固定卷積核中心位置數(shù)值為-1同時(shí)周圍位置數(shù)值之和為1
圖6 新卷積算法網(wǎng)絡(luò)結(jié)構(gòu)圖
3.重獲取圖像取證
重獲取圖像取證近幾年開(kāi)始受到取證工作者的關(guān)注。重獲取操作是指原始圖像被投影到新的媒介后被再次獲取的過(guò)程。圖7展示了常見(jiàn)的圖像重獲取操作流程。原始圖像首先被投影到新得到媒介：電腦屏幕、手機(jī)屏幕、打印紙，然后對(duì)投影后的圖像進(jìn)行重新拍攝，形成重獲取圖像。
圖7 圖像重獲取操作流程圖
重獲取圖像取證有重要的研究?jī)r(jià)值，對(duì)于篡改操作后的圖像通常會(huì)在圖像中留下指紋性的操作痕跡，消除這些痕跡的最簡(jiǎn)單的方式就是對(duì)篡改后的圖像進(jìn)行重新獲取。因其操作的簡(jiǎn)易性被很多篡改者使用。重獲取圖像取證通過(guò)辨別圖像是否經(jīng)過(guò)重獲取操作對(duì)圖像操作歷史的鑒別具有重要意義。另一方面，隨著人臉識(shí)別身份系統(tǒng)的快速發(fā)展和廣泛使用，一些不法分子試圖通過(guò)一些手段欺騙身份識(shí)別系統(tǒng)，活體檢測(cè)技術(shù)的使用為身份識(shí)別系統(tǒng)提供了一層保障，然后face2face系統(tǒng)的推出又為活體檢測(cè)提出了挑戰(zhàn)。重獲取圖像取證作為一種新的技術(shù)手段可以有效地增強(qiáng)身份識(shí)別系統(tǒng)的魯棒性。
基于深度學(xué)習(xí)的方法，我們提出了一種拉普拉斯卷積神經(jīng)網(wǎng)絡(luò)算法檢測(cè)重獲取圖像。網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示，對(duì)于輸入圖像我們首先利用信號(hào)增強(qiáng)層放大重獲取噪聲信號(hào)，然后利用5個(gè)卷積層進(jìn)行特征提取，最后使用全連接層作為特征分類層。我們提出的算法在不同尺寸的圖像庫(kù)上實(shí)現(xiàn)了95%以上的檢測(cè)性能。
圖8 拉普拉斯卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
4.反反取證
Jingjing Yu， Xiangui Kang等將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在多類反反取證問(wèn)題上。隨著取證技術(shù)的發(fā)展，對(duì)抗取證的研究也隨之興起，稱為反取證研究。反取證是針對(duì)于特定的取證技術(shù)提出使其失效的算法。該工作是針對(duì)于多種反取證算法進(jìn)行取證，故而稱為反反取證。文章提出的網(wǎng)絡(luò)結(jié)構(gòu)如下所示，四層卷積結(jié)構(gòu)以及兩層全連接結(jié)構(gòu)。文章關(guān)注了四類反取證問(wèn)題：JPEG壓縮、中值濾波、重采樣、對(duì)比度增強(qiáng)，根據(jù)文章報(bào)告的實(shí)驗(yàn)結(jié)果，平均檢測(cè)準(zhǔn)確率達(dá)到了96.9%。
圖9 反反取證算法網(wǎng)絡(luò)結(jié)構(gòu)圖
5.隱寫(xiě)分析
把隱寫(xiě)分析列在這里，是因?yàn)殡[寫(xiě)分析與取證領(lǐng)域存在極深的淵源。兩者雖需要解決的具體問(wèn)題不同，但是方法論本質(zhì)上具有一致性，都是探尋微弱“噪聲”信號(hào)的存在。隱寫(xiě)分析領(lǐng)域和圖像取證領(lǐng)域的發(fā)展是相輔相成的，兩者針對(duì)各自領(lǐng)域提出的有效算法通常在彼領(lǐng)域也能得到很好的應(yīng)用。比如隱寫(xiě)分析領(lǐng)域常用的Rich Models、SPM算法都被應(yīng)用于取證領(lǐng)域并取得了state-of-the-art的檢測(cè)性能。
隱寫(xiě)分析是針對(duì)隱寫(xiě)問(wèn)題發(fā)展而來(lái)的一種技術(shù)手段，目的是檢測(cè)目標(biāo)中是否包含隱藏信息。待檢測(cè)目標(biāo)中嵌入隱藏信息的比特率越低，意味著隱藏信息量越少，檢測(cè)難度越大。傳統(tǒng)的隱寫(xiě)分析都是基于特征提取加特征分類的兩段論方案，為了更全面的刻畫(huà)待測(cè)目標(biāo)中的“微弱”信號(hào)，維度不斷增加的高維特征被提出，例如Rich Models特征。特征分類方面為了加速高維隱寫(xiě)特征的分類，F(xiàn)ridrich課題組提出了針對(duì)隱寫(xiě)分析的特定分類器，集成分類器。
深度學(xué)習(xí)的發(fā)展為隱寫(xiě)分析提供了一種新的思路。Qian Y， Dong J等首次將深度學(xué)習(xí)算法應(yīng)用于隱寫(xiě)分析領(lǐng)域，并基于隱寫(xiě)分析的領(lǐng)域知識(shí)提出高斯激活函數(shù)，取得了和傳統(tǒng)方案性能相當(dāng)?shù)臋z測(cè)效果；Guanshuo Xu， Yun-Qing Shi等設(shè)計(jì)了一種新的網(wǎng)絡(luò)結(jié)構(gòu)，在網(wǎng)絡(luò)結(jié)構(gòu)中添加了絕對(duì)值層、BN層和全局pooling層，也取得了較好的檢測(cè)效果。基于以上工作，兩者又相繼推出了后續(xù)工作。Qian Y， Dong J等融合遷移學(xué)習(xí)的方法進(jìn)一步提高了算法性能；Guanshuo Xu， Yun-Qing Shi等提出了基于集成學(xué)習(xí)和集成分類的方案。
圖像取證深度學(xué)習(xí)之風(fēng)何去何從
如今深度學(xué)習(xí)的如火如荼讓各行各業(yè)的同胞摩拳擦掌。就取證領(lǐng)域而言，深度學(xué)習(xí)的探索之旅還處于小荷才露尖尖角的狀態(tài)。如施云慶教授在IWDW2016中的談話所言：“深度學(xué)習(xí)在取證領(lǐng)域中的進(jìn)步相較于計(jì)算機(jī)視覺(jué)領(lǐng)域是很小的，如何進(jìn)一步提升深度學(xué)習(xí)在取證中的檢測(cè)性能仍然值得關(guān)注”。另外，取證領(lǐng)域的數(shù)據(jù)集規(guī)模相對(duì)于計(jì)算機(jī)視覺(jué)領(lǐng)域較小，對(duì)于數(shù)據(jù)驅(qū)動(dòng)型的深度學(xué)習(xí)算法，更大規(guī)模的公開(kāi)的全面的精確標(biāo)注的數(shù)據(jù)集對(duì)于圖像取證問(wèn)題無(wú)疑是迫切需要的。
這段時(shí)間本文作者經(jīng)過(guò)一些探索也取得了一些心得，在此和大家一起探討。首先就網(wǎng)絡(luò)的深度而言，淺層的網(wǎng)絡(luò)結(jié)構(gòu)已然可以得到較好的實(shí)驗(yàn)結(jié)果。當(dāng)然網(wǎng)絡(luò)的加深會(huì)對(duì)實(shí)驗(yàn)結(jié)果略有提升，但是并不能和增加層數(shù)帶來(lái)的計(jì)算復(fù)雜度的提升成比例。其次，預(yù)處理操作并不是對(duì)于所有取證問(wèn)題都適用，預(yù)處理操作在放大噪聲信號(hào)的同時(shí)也相應(yīng)的丟失了部分原始信息，對(duì)于深度學(xué)習(xí)數(shù)據(jù)驅(qū)動(dòng)型算法而言，這些丟失的原始信息對(duì)于算法性能的影響比重如何暫時(shí)還無(wú)定論，所以預(yù)處理操作添加與否還需具體情況具體分析。
目前基于深度學(xué)習(xí)的圖像取證研究還有許多問(wèn)題需要去解決，更多的路需要去探索，本文作者歡迎讀者的任何意見(jiàn)或者建議，并期待和大家一起探討。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標(biāo)題：深度學(xué)習(xí)在圖像取證領(lǐng)域中的進(jìn)展
本文網(wǎng)址：http://www.oesoe.com/html/support/11121520294.html
相關(guān)文章
