前言 針對有限的覆蓋范圍內的類(lèi)內變化，提供的支持很少?；诤?jiǎn)單的 Gestalt法則，論文提出了一種新的自支持匹配策略來(lái)緩解這一問(wèn)題。這種策略可以有效地捕獲查詢(xún)對象的一致底層特征，從而適當地匹配查詢(xún)特征。
此外，還提出了自適應的自支持背景原型生成模塊和自支持丟失模塊，以進(jìn)一步促進(jìn)自支持匹配過(guò)程。本文的自支持網(wǎng)絡(luò )大大提高了原型的質(zhì)量，并實(shí)現了多個(gè)數據集上的SOTA。
論文：https://arxiv.org/pdf/2207.11549.pdf
代碼：https://github.com/fanq15/SSP
創(chuàng )新思路
語(yǔ)義分割在深度學(xué)習網(wǎng)絡(luò )和大規模數據集中取得了顯著(zhù)的進(jìn)展。然而，目前的高性能語(yǔ)義分割方法嚴重依賴(lài)繁瑣的像素級標注，這加速了近年來(lái)少樣本語(yǔ)義分割(FSS)的發(fā)展。
少樣本語(yǔ)義分割的目的是利用少量的支持樣本來(lái)分割任意的新類(lèi)。少樣本學(xué)習存在兩個(gè)長(cháng)期存在的問(wèn)題：
1.支持圖像是有限的和固定的，而查詢(xún)圖像可以是大量的和任意的。
2.由于固有的數據稀缺性和多樣性，有限的少樣本支持很容易無(wú)法覆蓋查詢(xún)圖像中目標類(lèi)的底層外觀(guān)變化，無(wú)論支持質(zhì)量如何。
因此，作者提出了一種新的自支持匹配策略來(lái)縮小匹配的外觀(guān)差異。這種策略使用查詢(xún)原型來(lái)匹配查詢(xún)特性。由于查詢(xún)原型具有自匹配屬性，將其稱(chēng)為自支持原型。這一新的想法是由經(jīng)典Gestalt法則激發(fā)的，即屬于同一對象的像素比屬于不同對象的像素更相似。
首先，通過(guò)直接匹配支持原型和查詢(xún)特征來(lái)生成初始掩碼預測。在初始查詢(xún)掩碼的基礎上，收集高置信度區域的查詢(xún)特征，生成自支持原型，用于與查詢(xún)特征進(jìn)行匹配。如圖1所示，自支持模塊(SSM)收集了貓頭部的高置信度區域特征，用于對整個(gè)黑貓進(jìn)行分割。模型在基類(lèi)上進(jìn)行優(yōu)化，檢索對象片段所支持的其他對象部分，即self-support prototype。
圖1所示。左圖說(shuō)明了自我支持匹配的核心思想。右上方的圖片說(shuō)明了自我支持匹配的動(dòng)機:相同物體的像素/區域比不同物體的像素/區域更相似。右下角的圖片說(shuō)明了自我支持匹配與傳統的匹配方法有根本的不同。
雖然SSM直接有利于前景原型，但背景通常是混亂的，它沒(méi)有所有背景像素之間共享的全局語(yǔ)義共性。因此，本文提出通過(guò)動(dòng)態(tài)聚合查詢(xún)圖像中的相似背景像素，自適應生成每個(gè)查詢(xún)像素的自支持背景原型，而不是通過(guò)聚合所有背景像素來(lái)生成全局背景原型。
本文的自支持匹配策略與傳統的支持-查詢(xún)匹配有本質(zhì)上的不同。本文使用靈活的自支持原型來(lái)匹配查詢(xún)特征，它可以有效地捕獲查詢(xún)對象的一致底層特征，從而適合地匹配查詢(xún)特征。
如圖1所示，查詢(xún)和支持圖像中的貓在顏色、部位和比例上都有很大的差異，加菲貓支持與黑貓查詢(xún)存在較大的外觀(guān)差異，傳統的支持-查詢(xún)匹配無(wú)疑會(huì )產(chǎn)生較差的分割效果。在我們的自助匹配中，本文的自支持原型(黑貓頭)與查詢(xún)(整個(gè)黑貓)更加一致。
雖然PANet和CRNet也提出了查詢(xún)原型，但它們使用查詢(xún)原型來(lái)匹配支持特征，作為一種僅用于輔助訓練的查詢(xún)-支持匹配，無(wú)法解決外觀(guān)差異。本文的自支持方法通過(guò)緩解類(lèi)內外觀(guān)差異問(wèn)題顯著(zhù)提高了原型質(zhì)量，實(shí)驗驗證表明在多個(gè)數據集上的性能提升。
本文的主要貢獻
1. 提出了一種新的自支持匹配，并構建了一種新的自支持網(wǎng)絡(luò )來(lái)解決FSS中的外觀(guān)差異問(wèn)題。
2. 提出了自支持原型、自適應自支持背景原型和自支持損失。
3. 本文的自我支持方法受益于更強的backbone，并以許多可取的優(yōu)勢在多個(gè)數據集上優(yōu)于以前的SOTA。
方法
自支持少樣本語(yǔ)義分割
在給定少量支持圖像的情況下，少量樣本語(yǔ)義分割旨在利用從基類(lèi)中推廣的模型對新類(lèi)中的對象進(jìn)行分割?，F有主流的少樣本語(yǔ)義分割方案可以表述為:輸入支持和查詢(xún)圖像{Is, Iq}通過(guò)權重共享的backbone處理，提取圖像特征{f, Fq}。然后將支持特征Fs及其groundtruth掩碼Ms送入掩碼平均池化層，分別生成前景和背景區域的支持原型向量Ps。最后，通過(guò)對Ps和Fq的余弦相似度進(jìn)行評估，生成兩個(gè)距離圖D ，然后通過(guò)softmax操作進(jìn)行處理，作為最終預測M1 = softmax(D)。
動(dòng)機
目前的FSS方法嚴重依賴(lài)于支持原型來(lái)分割查詢(xún)對象，將每個(gè)查詢(xún)像素與支持原型密集匹配。然而，這種跨對象匹配嚴重地受到類(lèi)內外觀(guān)差異的影響，其中支持和查詢(xún)中的對象即使屬于同一個(gè)類(lèi)，看起來(lái)也可能非常不同。類(lèi)內的差異，僅靠少量的支持是無(wú)法調和的，查詢(xún)與支持之間的外觀(guān)差距較大，會(huì )導致匹配結果不佳。
為了驗證 Gestalt法則能夠縮小這種外觀(guān)差異，作者統計分析了Pascal VOC跨對象和對象內像素的特征余弦相似度。如表1顯示，屬于同一對象的像素比跨對象的像素更相似。
表1。交叉/內部物體像素的余弦相似度。
自支持原型
本文的核心思想(圖2)是聚合查詢(xún)特性來(lái)生成查詢(xún)原型，并用它來(lái)自支持查詢(xún)特性本身。
圖2所示。自支持網(wǎng)絡(luò )架構。
首先使用傳統的基于支持原型的匹配網(wǎng)絡(luò )生成初始掩碼預測。然后利用初始查詢(xún)掩碼聚合查詢(xún)特征，生成自支持原型，即自支持前景原型(SSFP)和自適應自支持背景原型(ASBP)。最后，結合支持原型和自支持原型來(lái)執行與查詢(xún)特征的匹配。
作者發(fā)現，即使估計的查詢(xún)掩碼并不完美，但只要覆蓋了一些有代表性的對象片段，就足以檢索到同一對象的其他區域。為了驗證部分對象或對象片段能夠支持整個(gè)對象，使用基于ground truth 掩碼標簽隨機選擇特征聚合的部分原型訓練和評估模型。如表2所示，本文的self-support prototype在減少用于原型生成的聚合對象區域的同時(shí)，始終保持較高的分割性能。相比之下，傳統的支持原型即使使用了整個(gè)對象的完美支持特征，也始終獲得較差的性能。
表2。由完整/部分對象聚合的支持/自我支持原型的1次匹配結果(mIoU)。
自適應自支持背景原型
前景像素具有語(yǔ)義共性，這構成了對前景對象的查詢(xún)特征與支持原型之間的自支持原型生成和匹配過(guò)程的基本原理。因此，可以使用掩碼平均池來(lái)生成自我支持的前景原型(圖3 (a))：
圖3。原型分為(a)自我支持(SS)前景原型和(b)自適應自我支持背景原型。
另一方面，背景可能是雜亂的，其中的共性將減少到不相交區域的局部語(yǔ)義相似性，而沒(méi)有在所有背景像素之間共享全局語(yǔ)義共性。一個(gè)簡(jiǎn)單的解決方案是使用聚類(lèi)算法直接將多個(gè)背景原型分組，然后在每個(gè)查詢(xún)像素上選擇最相似的原型進(jìn)行背景匹配。這種顯式的背景分組嚴重依賴(lài)于聚類(lèi)算法，不穩定且耗時(shí)。
因此，作者提出了一種更靈活高效的方法，自適應生成每個(gè)查詢(xún)像素的自支持背景原型(圖3 (b))。其思想是為每個(gè)查詢(xún)像素動(dòng)態(tài)聚合相似的背景像素，以生成自適應的自支持背景原型。首先將查詢(xún)特征Fq與背景掩碼fMq,b進(jìn)行掩碼乘法，收集背景查詢(xún)特征Fq,b。然后通過(guò)矩陣乘法運算MatMul，生成重構后的背景查詢(xún)特征Fq、b和全查詢(xún)特征Fq的像素之間的親和力矩陣A:
通過(guò)一維softmax操作對親和矩陣進(jìn)行歸一化，對每個(gè)查詢(xún)像素加權集合背景查詢(xún)特征，生成自適應的自支持背景原型P?q,b :
使用自適應自支持背景原型更新自支持原型：Pq。
自支持匹配
加權組合支持原型Ps和自支持原型Pq：
然后，計算增強支持原型P?s和查詢(xún)特征Fq之間的余弦距離，生成最終匹配預測：
然后，對生成的距離圖應用訓練監督：
為了進(jìn)一步促進(jìn)自支持匹配過(guò)程，作者提出了一種新的查詢(xún)自支持丟失。對于查詢(xún)特征Fq及其原型Pq，采用以下訓練監督：
對支持特征應用相同的過(guò)程引入支持自匹配損失Ls。
最后，通過(guò)聯(lián)合優(yōu)化所有上述損失，以端到端的方式訓練模型：
實(shí)驗
表4.COCO-20i數據集的定量比較結果。
表5.自支持模型消融結果。
圖4.自我支持匹配工作機制的可視化。
圖5（a）自支持原型的掩模閾值變化結果。（b） 每個(gè)星號標記位置的自適應自支持背景原型（ASBP）特征聚集的可視化。
表6.分別移除前景支持原型（FP）、背景支持原型（BP）、自我支持前景原型（SFP）和自我支持背景原型（SBP）后的自我支持模塊（SSM）消融結果。
表7.與自我注意模塊的比較。
表11.本文的方法應用于其他模型的結果。
結論
在本文中，通過(guò)利用查詢(xún)特征生成自支持原型并與查詢(xún)特征進(jìn)行自支持匹配，解決了少樣本分割中固有的關(guān)鍵類(lèi)內外觀(guān)差異問(wèn)題。該策略有效地縮小了支持原型和查詢(xún)特性之間的差距。
此外，提出了一個(gè)自適應的自支持背景原型和一個(gè)自支持損失，以便于自支持過(guò)程。本文的自支持網(wǎng)絡(luò )具有各種理想特性，并在多個(gè)基準上實(shí)現SOTA。
聯(lián)系客服
