系列文章目錄

在電子商務(wù)產(chǎn)品的跨模態(tài)檢索中，電子商務(wù)圖像和電子商務(wù)語言都有許多獨特的特點。如圖所示，一個電子商務(wù)產(chǎn)品圖片通常只包含一個簡單的場景，有一個或兩個前景物體和一個普通的背景。同時，電子商務(wù)語言通常由一組元數(shù)據(jù)（標(biāo)簽實體)組成，包括產(chǎn)品名稱/描述、品牌、類別、成分等。之前的工作,如FashionBERT 表明，時尚領(lǐng)域的跨模態(tài)檢索需要更細粒度的特征,比如如短袖和圓領(lǐng)。

在電子商務(wù)中，單詞標(biāo)記經(jīng)常會產(chǎn)生特殊的含義，而[10，38，72]中的預(yù)訓(xùn)練語言模型部分盡管有大規(guī)模的預(yù)訓(xùn)練語料庫，但仍有偏見。例如，在預(yù)訓(xùn)練的CLIP模型中，實體“diesel”與概念“fuel”緊密相關(guān)，而在電子商務(wù)時尚領(lǐng)域中，“diesel”被標(biāo)記為品牌實體。其他例子包括“canada goose（品牌）“、“golden goose（品牌）”、“top（類別）"等

介紹一下因果學(xué)習(xí)，和分布外的問題，根據(jù)應(yīng)用場景的不同Causal learning 的最終目的是不同的，其中一個比較重要的目的就是想解決Machine learning的Out-of-Distribution Generalization（OODG）的問題。假設(shè)我們想分類駱駝和奶牛的圖片, ，我們獲得的圖片中大概率是下圖的情形。
。比如我們的訓(xùn)練數(shù)據(jù)中，駱駝大多數(shù)出現(xiàn)在沙化的土地（背景偏黃），奶牛大多數(shù)出現(xiàn)在長有植被的土地（背景偏綠）。這樣一來，由于背景往往占據(jù)圖片的主要內(nèi)容，我們的模型學(xué)到的很可能是背景相關(guān)的特征，比如背景顏色，然后使用背景顏色對圖片進行分類。即使我們在訓(xùn)練集上得到比較好的效果，但是如果測試集的分布和訓(xùn)練集不一樣，那就出問題了。也就是說，如果新的測試集也是駱駝大多數(shù)背景偏黃，奶牛大多數(shù)背景偏綠，那么我們的模型可能還是會有比較好的表現(xiàn)。但如果不是這種情形，而是下圖中的情形，那么模型很可能表現(xiàn)很糟糕

上圖中，我們可以看到駱駝出現(xiàn)在了綠化草地，而奶牛出現(xiàn)在了沙化草地，這種情形在現(xiàn)實生活中還是可能存在的。如果我們新的數(shù)據(jù)中這種類型的圖片較多（數(shù)據(jù)分布和之前的不同），而我們之前的模型又是根據(jù)背景色進行預(yù)測，可想而知預(yù)測結(jié)果肯定不好。更有甚者，我們可以隨意的進行PS，把背景換成任意的形式，比如下圖中的情形。
介紹一下混雜因素，或者叫干擾因子。多模態(tài)微調(diào)中存在分布外問題,Zhang等人將圖像和語言之間的這種不受歡迎的虛假相關(guān)性表述為從預(yù)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)的“混雜因素”。Zhang等人通過使用結(jié)構(gòu)因果模型（SCM）圖建模，通過后門干預(yù)進行硬干預(yù)以消除數(shù)據(jù)集偏倚。在SCM圖中，每個節(jié)點代表一個變量，有向邊表示因果影響。例如，如果變量 AA 影響變量 BB，則會有一條從 AA 到 BB 的有向邊。也就是說他們通過硬干預(yù)：也就是主動改變模型中某個變量的值，以觀察其對其他變量的影響，來得出結(jié)論這個變量是不是真正的因，然后消除數(shù)據(jù)集偏倚，使得模型泛化能力強，數(shù)據(jù)集偏差就指訓(xùn)練數(shù)據(jù)未能準(zhǔn)確代表目標(biāo)人群或模型應(yīng)用時的條件。這可能導(dǎo)致模型的泛化能力差和預(yù)測偏差。

Zhang等人的缺點：遵循傳統(tǒng)的BERT令牌詞匯表，將每個實體視為一組（子）單詞令牌。這忽略了電子商務(wù)中大量的特殊含義實體，不可避免地使不同的實體與共享的混淆（子）單詞令牌（諸如“Canada Goose”和“Golden Goose”）相互干擾。假設(shè)我們有兩個品牌：Canada Goose：一個知名的冬季服裝品牌，以其高質(zhì)量的羽絨服著稱。Golden Goose：一個意大利品牌，以其獨特設(shè)計的運動鞋而聞名。在BERT模型中，這兩個品牌名可能被拆分成以下（子）詞令牌：“Canada Goose” 可能被拆分為 “Canada” 和 “Goose”?！癎olden Goose” 可能被拆分為 “Golden” 和 “Goose”。這兩個品牌都包含“Goose”這個子詞令牌。這意味著在模型的詞匯中，“Goose”可能被視為一個普通的詞匯，而不是特定于某個品牌的標(biāo)識。
共享的子詞令牌：這兩個品牌都包含“Goose”這個子詞令牌。這意味著在模型的詞匯中，“Goose”可能被視為一個普通的詞匯，而不是特定于某個品牌的標(biāo)識。
當(dāng)模型處理與“Canada Goose”相關(guān)的圖像或文本時，它可能會錯誤地將某些特征與“Golden Goose”關(guān)聯(lián)起來，因為它們共享“Goose”這個子詞令牌。

Meta數(shù)據(jù)的多樣性導(dǎo)致了 動機2：Meta數(shù)據(jù)對跨模態(tài)檢索的貢獻是不均勻的。具體來說，以前的方法通常將所有元數(shù)據(jù)連接在一起以形成長句。然而，這種簡單的解決方案平等地對待每個Meta信息是不對的，有些元數(shù)據(jù)甚至可能對檢索有害


這是文章的整體框架，相比CLIP他多了兩個模塊，EA-學(xué)習(xí)者，CE選擇者。

首先我們把CLIP放到因果觀中。最后分類分類就變成了第二個公式。

首先這個CE選擇者就是根據(jù)動機2設(shè)計，首先把品牌，季節(jié)，類別等這些標(biāo)簽分別作為一個實體，我們選擇一部分實體放入模型中進行訓(xùn)練。讓模型自己選擇哪些標(biāo)簽也就是說實體是有助于分類的。

EA學(xué)習(xí)者模塊旨在明確捕獲每個個體實體信息，而無需擔(dān)心通用和電子商務(wù)領(lǐng)域之間的模糊實體語義或由于共享（子）單詞標(biāo)記而交織的實體表示。 也就是針對之前的動機-1，也就是將之前的那個公式，給參數(shù)化了。EjI就是圖像的特征，EiD就是文本的特征，然后EiA就是元數(shù)據(jù)、標(biāo)簽的特征，這里比如加拿大鵝兩個單詞不會再拆分而是一體的。