作者：朱小佩編輯：好困【新智元導(dǎo)讀】眾所周知，打印一張圖揣身上就能騙過圖像識別，那你知道如何才能騙過紅外識別么？在疫情期間，紅外行人識別系統(tǒng)被廣泛應(yīng)用。這得益于熱紅外識別的系統(tǒng)的兩個重要的優(yōu)勢：1.對于溫度敏感，紅外圖像的成像利用了物體的熱

作者：朱小佩

編輯：好困

【新智元導(dǎo)讀】眾所周知，打印一張圖揣身上就能騙過圖像識別，那你知道如何才能騙過紅外識別么？

在疫情期間，紅外行人識別系統(tǒng)被廣泛應(yīng)用。

這得益于熱紅外識別的系統(tǒng)的兩個重要的優(yōu)勢：

1. 對于溫度敏感，紅外圖像的成像利用了物體的熱輻射，所以可以反映出物體的溫度，這一特性對于人體的非接觸式測溫具有重要的應(yīng)用。

2. 紅外成像具有一定的「透視」特性，即使人體被一些衣物遮擋，但是熱輻射依然可以透過衣物被接收器感知到，所以可以透過遮擋進行成像。

盡管目前紅外行人檢測系統(tǒng)被廣泛使用，但是很少有人去關(guān)注該系統(tǒng)的安全隱患。

今年，來自清華大學(xué)的研究團隊就提出了一項基于小燈泡的物理攻擊方法。相關(guān)論文發(fā)表在AAAI2021會議上（Zhu et al. Fooling Thermal Infrared Pedestrian Detectors in Real World Using Small Bulbs）。相關(guān)技術(shù)已經(jīng)申請國家發(fā)明專利。

以下就是一個例子，從圖中我們看到，持有小燈泡板子的人成功地逃避了檢測器的檢測，而持有空白板子和不帶任何東西的人卻被檢測器檢測到。

研究背景

近年來，對抗樣本的研究越來越引起人們的重視。在數(shù)字空間中，研究者發(fā)現(xiàn)，通過設(shè)計特定的噪聲，神經(jīng)網(wǎng)絡(luò)會以很高的置信度對圖像進行了錯誤的分類，而且這種噪聲人眼不易察覺。更進一步地，人們發(fā)現(xiàn)對抗樣本也可以在現(xiàn)實世界中產(chǎn)生威脅。

例如，一個3D打印的烏龜，當其表面裝飾有對抗性的紋理之后，會被神經(jīng)網(wǎng)絡(luò)誤認為是一個來福槍。對抗樣本除了可以干擾分類模型，也可以干擾目標檢測模型，例如，一張打印出來的對抗性紙張，可以成功地欺騙目標檢測器YOLOv2，使得其檢測不到行人。

但目前幾乎所有的關(guān)于對抗樣本的研究都集中在可見光領(lǐng)域。而對于紅外領(lǐng)域的研究還處于空白階段。與可見光的圖像（三通道）相比，紅外圖像只有一個灰度通道，而且紅外圖像的紋理信息遠遠少于可見光的信息。

另外，為了實現(xiàn)物理攻擊，紅外圖像不能像可見光圖像一樣，直接通過激光打印機打印到一張紙上。因此，如何在物理世界中顯示特定的圖案是一件困難的事情。

研究方法

既然不能用「打印」的方式實現(xiàn)熱圖像，這時候作者另辟蹊徑。可否利用發(fā)熱物體本身的熱圖作為基本模塊，然后去優(yōu)化模塊的位置。作者于是考察了多種電子元件，包括二極管，電阻等等。

最后發(fā)現(xiàn)了一個看似簡單卻十分好用的器件——小燈泡！因為小燈泡所成的熱紅外圖像十分接近于一個二維高斯函數(shù)。

那么這個猜想是否成立呢，作者對小燈泡的紅外圖像進行了數(shù)學(xué)分析。

在拍攝了單個燈泡的紅外圖像之后，嘗試用一個二維的高斯函數(shù)來建模和擬合。函數(shù)擬合后發(fā)現(xiàn)，二維高斯函數(shù)可以很好地擬合燈泡的紅外圖像。

有了基本的單元之后，作者就想到，可以構(gòu)建一個正方形的平面，平面上有多個符合二維高斯分布的「光斑」，這些光斑的位置就可以是優(yōu)化變量，通過優(yōu)化，就有可能能找到一個具有對抗特性的圖案。

而這個圖案，恰好可以與物理世界一一對應(yīng)，正方形平面對應(yīng)于一塊板子，而數(shù)字世界的「光斑」，就是對應(yīng)于物理世界中小燈泡的成像效果。

此時整個的優(yōu)化流程就清晰了，首先在數(shù)字世界，首先構(gòu)建一個帶有多個「光斑」的patch，將它「貼」到紅外數(shù)據(jù)集中的行人上面，同時作者也在數(shù)字世界模擬了物理世界的一些擾動，例如噪聲，亮度變化，平移，旋轉(zhuǎn)等等。這使得patch的魯棒性進一步提高。

優(yōu)化的目標函數(shù)包括檢測器的物體置信度輸出以及patch光滑度的和。通過反向傳播來優(yōu)化patch上「光斑」的位置，直到找到一個最優(yōu)的圖案。

而當數(shù)字世界驗證好以后，就可以通過小燈泡將此圖案在物理世界中實現(xiàn)，從而達到在物理世界中攻擊紅外行人檢測器的目的。

實驗結(jié)果

思路明確了，那么實驗的效果如何呢？

實驗結(jié)果表明，數(shù)字世界中基于二維高斯函數(shù)的patch可以成功地使得YOLOv3檢測器的AP (Average Precision) 降低了64.12%。

注意到與之對比的同樣大小的隨機噪聲patch和空白的patch僅使得檢測器性能分別降低了25.05%和29.69%。

下面給出了一個具體的例子，可以看到，在數(shù)字空間中作者設(shè)計的patch可以成功躲避行人檢測器。而與之對比的放有blank patch，random noise patch以及什么都不放的人卻被檢測到了。

接下來作者進行了物理實驗。

以下左圖是實際制造出來的裝有小燈泡的板子，而右圖是這個板子的紅外熱圖像與模擬的數(shù)字圖像的對比。

作者招募了若干名志愿者，在相同的環(huán)境下，測試優(yōu)化后的小燈泡板子對紅外行人檢測器的對抗效果。對照組包含了使用空白的板子以及什么都不帶的情況。

計算結(jié)果表明，在物理世界中，優(yōu)化后的小燈泡板子可以使得YOLOv3檢測器的AP降低了34.48%，而同樣大小的空白板子僅僅使得檢測器的性能下降了14.91%。

以下給出了一組具體的例子，由圖中可以看到，在相同的條件下，使用了優(yōu)化后的小燈泡板子的人沒有被YOLOv3檢測到，而持有空白板子以及什么都不帶的人，被YOLOv3檢測到了。

這表明，經(jīng)過優(yōu)化后的小燈泡板子可以成功攻破紅外行人檢測器。

上文中作者都是針對YOLOv3檢測模型進行攻擊，那么進一步的問題就是，生成的對抗樣本能否遷移到其他檢測模型上去。

一開始，作者采用了直接進行遷移攻擊的方式，結(jié)果確不如人意。實驗表明，通過YOLOv3模型生成的對抗patch直接遷移攻擊，僅使得Cascade RCNN和RetinaNet的AP分別降低了11.60%和25.86%。

這時候作者想到了黑盒攻擊的經(jīng)典辦法，模型集成。簡而言之，就是集成多種模型來生成對抗樣本，這樣生成的對抗樣本，由于已經(jīng)綜合了不同類型模型的信息，所以具有更好的遷移到未知模型的能力。

作者在實驗中，集成了三種經(jīng)典的目標檢測模型，包括YOLOv3，F(xiàn)aster-RCNN和Mask-RCNN。集成之后生成的對抗patch，可以使得Cascade-RCNN和RetinaNet的AP分別降低了35.28%和46.95%。

由此可見，集成攻擊的效果相比于直接遷移攻擊有了大幅度的提高。

總結(jié)和展望

本文首次提出了針對紅外行人檢測系統(tǒng)進行物理攻擊的方法。作者在數(shù)字世界中基于二維高斯函數(shù)構(gòu)建對抗性的patch，并在物理世界中用小燈泡實現(xiàn)了對抗性的板子。

經(jīng)過優(yōu)化之后的對抗性板子可以成功地攻擊YOLOv3模型。作者進一步采用集成攻擊的方法，提高了對未知模型的遷移攻擊能力。該

研究揭示了目前廣泛使用的紅外目標檢測模型可能存在安全隱患，作者表示下一步的研究工作就是研究防御對抗樣本的方法，這對于提升紅外行人檢測系統(tǒng)的安全性具有重要意義。

作者簡介

本文的第一作者是來自于清華大學(xué)集成電路學(xué)院2018級的直博生朱小佩。他目前的研究方向是計算機視覺、對抗樣本和目標檢測。

本文的通訊作者是清華大學(xué)集成電路學(xué)院的王喆垚教授和清華大學(xué)計算機系的胡曉林副教授。

參考資料：

https://arxiv.org/abs/2101.08154