近日，清華大學崔鵬團隊在CVPR 2022上發表了一篇工作，針對傳統域泛化 (DG) 問題需要大量有標簽數據的問題，提出了無監督域泛化 (UDG) 問題，旨在通過利用無標簽數據進行預訓練提升模型在未知域上的泛化能力，并為 UDG 提出了 DARLING 算法。該算法僅使用ImageNet 數據量 1/10 的無標簽數據進行預訓練即可在DomainNet上超過ImageNet預訓練的效果。

1 DG簡介&現有DG的問題

目前深度學習在很多研究領域特別是計算機視覺領域取得了前所未有的進展，而大部分深度學習算法假設訓練數據（應用前可獲取的數據）和測試數據（實際應用中遇到的實例）是獨立同分布的。當訓練數據與測試數據分布不同時，傳統深度模型對訓練數據的充分擬合會造成其在測試數據上的預測失敗，進而導致模型應用于不同環境時的可信度降低。

越來越多的研究者開始研究模型遷移到未知分布數據的域泛化問題 (Domain Generalization, DG)，如圖1所示。域泛化問題旨在通過模型對多個源域數據的學習來提高在未知目標域上的預測表現。

許多現有DG方法都依賴于充分的訓練數據學習跨域不變的表征，但人工標注大量跨域數據開銷極大或難以實現（比如醫療圖片等特殊領域標注難度大，成本高）。并且現有DG算法均默認使用ImageNet上預訓練的參數作為模型的初始化，而ImageNet作為若干個域的混合體，用作預訓練可能會給模型引入偏差。例如對于DG的一個benchmark PACS數據集來說，ImageNet相當于其中的”photo”域，對于DomainNet數據集來說ImageNet相當于其中的”real”域，所以這個有類別標注的預訓練過程相當于在DG數據中的一個域上進行，會引入在域上的偏差 (比如幾乎所有的方法在”photo”和”real”域上的表現都是最好的)。

為了減少提升模型泛化能力對有標注的跨域數據的依賴，本文提出無監督域泛化問題，旨在使用無類別標注的數據提高模型在未知域上的泛化能力。實驗證明使用異質性數據進行合適地無監督預訓練在DG上的表現優于ImageNet 預訓練策略。

無監督域泛化 (UDG) 問題如圖2所示。在UDG中，為了避免ImageNet等預訓練數據對DG問題帶來的偏置，模型均采用隨機初始化。模型使用用來自不同源域的無標簽數據進行預訓練，學到表征空間。然后模型在有類別標簽的源域數據上進行訓練，微調表征空間和學習分類器，最終在未見過的目標域上進行測試。預訓練和訓練數據的域之間可以有重疊，而所有訓練數據 (包括有標簽和無標簽數據) 和測試數據之間沒有域重疊。用于finetuning的有標簽數據與測試數據共享相同的類別空間以支持模型學習表征到被別的映射。

近年來，自監督學習 (self-supervised learning) 取得了長足發展，以SimCLR v2、MoCo v2為代表的自監督學習算法利用大量互聯網中易獲取的無標簽數據學習表征空間，消除了模型預訓練對有標簽數據的依賴，并在很多下游任務中超過了ImageNet預訓練的效果。

一個直接的思路是將自監督學習的算法應用到無監督域泛化 (UDG) 問題中，從而利用大量易獲取的無標簽數據提高模型在未知領域上的泛化能力。而在UDG中，用以預訓練的數據中存在強異質性，所以直接使用對比學習的方法會導致模型學習到域相關的特征而非物體類別相關的特征，所以在未見過的目標域上測試時無法準確識別物體類別。具體來說，對比學習的關鍵在于區分負樣本對中的不同圖片，如果負樣本對中的圖片來自不同的域，且這兩種域非常容易區分 (如簡筆畫域與照片域)，則模型很容易根據域相關的特征來區分負樣本對中的圖片而不需學到真正對下游任務有效的信息 (如物體類別的特征)，所以這樣學出來的特征空間在下游任務上表現較差。

基于以上的觀察，本文提出了Domain-Aware Representation LearnING (DARLING) 算法來解決UDG預訓練數據中顯著且誤導性的跨域異質性，學習與域無關而與物體相關的特征。DARLING的結構圖3所示。

如前所述，現有對比學習方法采用的contrastive loss并未考慮數據中異質性的影響，即其計算方式為

其中  為負樣本隊列,  與  為同一張圖片經過兩種預處理和編碼得到的特征向量。而 DARLING考慮了負樣本對中域差異的影響, 所以圖片偽標簽 (pseudo label) 的產生機制可建模為

其中  為域d中的樣本索引的集合。進而每張圖片域的產生機制可建模為

其中函數h可以由一個參數為  的卷積神經網絡代表。故給定每個輸入樣本  后, 其偽標簽的 預測概率可表示為

故DARLING的對比損失函數可表示為

從直覺上講，一個負樣本對中的兩個樣本的“域相關”的特征越接近，網絡學習區分它們就會利用更多“域無關”的特征，所以由這種負樣本對產生的訓練損失權重應該較高；而反之當一個負樣本對中的兩個樣本“域相關”的特征區別足夠顯著，則網絡更傾向于利用“域相關”的特征進一步推遠它們在表征空間中的距離，而這不利于下游任務，所以這種負樣本對的損失權重應該降低。

DARLING利用一個子網絡學習負樣本對的域相似程度，并以之為其訓練損失加權。極端情況下，如果每個負樣本對中的兩個樣本都來自于同一個域，那么網絡只能使用“域無關”的特征將其區分，所以學到的特征就關注于物體類別相關的特征。

另外，作為一個無監督預訓練方法，DARLING學到的參數可以作為模型初始化與現有所有DG算法融合而進一步提升模型的泛化能力。

本文在PACS，DomainNet和CIFAR-C等數據集上驗證了UDG問題的意義以及DARLING方法的有效性。

如表1所示，在DomainNet上，DARLING的表現優于所有現有SOTA無監督/自監督學習算法，且當預訓練數據的類別數量越高時，DARLING相對于其他方法的提升越明顯。

表2為DARLING與各SOTA算法在CIFAR-C上的結果，由于CIFAR-C中的域個數更多，所以我們可以使得預訓練數據，訓練數據和測試數據三者間不存在域重合且預訓練數據與測試數據不存在類別重合，以完全避免預訓練中任何情況的域信息或類別信息泄漏。DARLING在所有測試域上均超過了現有SOTA算法。

表3為DARLING與現有DG算法結合后在DomainNet上的結果，DARLING作為預訓練模型初始化可以顯著提高現有DG算法的泛化能力。

圖4為DARLING與ImageNet預訓練的對比，當參與預訓練的數據中物體類別超過100時DARLING的表現優于ImageNet預訓練。請注意當物體類別數量為100時用于DARLING預訓練的數據量和類別數量只有ImageNet的1/10，且這些數據是沒有類別標簽的。這充分說明了使用ImageNet預訓練作為DG算法的初始化并非最好選擇，使用遠小于ImageNet數據量的UDG算法即可超越ImageNet預訓練的效果，這也為未來的UDG算法提供了基礎與展望的空間。

無監督域泛化 (UDG) 問題不僅減輕了DG算法對有標簽數據的依賴，且僅使用少量無標簽數據 (1/10) 就可以達到與ImageNet 預訓練類似的效果，這充分說明ImageNet預訓練并非DG算法初始化的最優選擇，且為未來研究預訓練方法對模型泛化能力的影響提供了啟發與基礎。

本文僅做學術分享，如有侵權，請聯系刪文。