1.背景

DSSM是Deep Structured Semantic Model (深層結構語義模型) 的縮寫，即我們通常說的基于深度網絡的語義模型，其核心思想是將query和doc映射到到共同維度的語義空間中，通過最大化query和doc語義向量之間的余弦相似度，從而訓練得到隱含語義模型，達到檢索的目的。DSSM有很廣泛的應用，比如：搜索引擎檢索，廣告相關性，問答系統(tǒng)，機器翻譯等。DSSM主要用在召回和粗排階段。 在應?于推薦系統(tǒng)時，通過兩個塔分別去建模user側和item側的embedding，計算embedding之間 的內積，最后?真實的label計算loss。

論文題目：《Learning Deep Structured Semantic Models for Web Search using Clickthrough Data》

2.DSSM模型結構

論文中的 DSSM的模型, 考慮一個搜索的場景, 在輸入一個Query之后, 要在眾多的Doc中尋找最為匹配的項, 那么此時如果將Query經過某種模型, 得到其向量表示, 再與Doc對應的向量進行相似度計算, 將相似度高的進行返回, 即可完成匹配。 主要是?來解決NLP領域語義相似度任務， 如果把document換成item或是?告，就演變成了?個推薦模型。

從模型上來看，$x$ 是用來表示輸入的term向量，$y$ 是經過DNN后的輸出向量；DSSM模型的整體結構中，Q代表Query信息，D表示Document信息。

• Term Vector：表示文本的Embedding向量；
• Word Hashing技術：為解決Term Vector太大問題，對bag-of-word向量降維；
• Multi-layer nonlinear projection：表示深度學習網絡的隱層；
• Semantic feature ：表示Query和Document 最終的Embedding向量；
• Relevance measured by cosine similarity：表示計算Query與Document之間的余弦相似度
• Posterior probability computed by softmax：表示通過Softmax 函數把Query 與正樣本Document的語義相似性轉化為一個后驗概率

典型的DNN結構是將原始的文本特征映射為在語義空間上表示的特征。DNN在搜索引擎排序中主要有2個作用：

• 將query中term的高維向量映射為低維語義向量
• 根據語義向量計算query與doc之間的相關性分數

從推薦系統(tǒng)角度看DSSM模型：

雙塔模型結構簡單，一個user塔(用戶側特征–用戶畫像信息、統(tǒng)計屬性以及歷史行為序列等)，另一個item塔(Item相關特征–Item基本信息、屬性信息等)，兩邊的DNN結構最后一層(全連接層)隱藏單元個數相同，保證user embedding和item embedding維度相同，后面相似度計算(如cos內積計算)，損失函數使用二分類交叉熵損失函數。DSSM模型無法像deepFM一樣使用user和item的交叉特征。

3.DSSM模型離線訓練流程

召回階段一般用到的特征有三種：

	內容
user特征	user ID、用戶基礎屬性信息(性別、年齡、地域等)、用戶畫像信息、用戶的各種session信息等等
item特征	item ID、item基礎屬性信息(發(fā)布日期、作者ID、類別等)、item的畫像、item創(chuàng)作者畫像等等
上下文特征	當前時間戳、手機類型、網絡類型、星期幾等等

離線訓練雙塔召回模型時，將user特征和上下文特征concat起來，作為user塔的輸入。將item特征concat起來，作為item塔的輸入。
雙塔召回模型的離線訓練步驟為：

1. 將用戶側的特征concat起來，輸入一個DNN網絡中，最終得到一個user embedding；
2. 將物品側的特征concat起來，輸入一個DNN網絡中，最終得到一個item embedding；
3. 拿user embedding與item embedding，做點積或cosine，得到logit，代表user和item之間的匹配程度；
4. 設計loss訓練模型，一般loss都選擇weighted cross entropy loss或Focal loss，這些loss都是point wise方法。

雙塔召回模型的線上預測步驟為：

1. 離線刷可推薦item庫得到item embedding，具體做法為：離線的、周期性的、批量的將item特征輸入item塔，得到item embedding。把得到的item embedding導入Faiss中，建立索引。
2. 線上實時得到用戶的user embedding，具體做法為：當用戶線上請求后，將user特征和上下文特征輸入user塔，得到user embedding。
3. 拿到的實時user embedding到Faiss中做近鄰搜索(ANN)，得到與user embedding相鄰的Top N個item集合，作為召回內容返回。

4.思考

Q: DSSM 就一定適合所有的業(yè)務嗎

1. DSSM 是端到端的模型 ，雖然省去了人工特征轉化、特征工程和特征組合，但端到端的模型有個問題就是效果不可控。
2. DSSM 是弱監(jiān)督模型，因為引擎的點擊曝光日志里 Query 和 Title 的語義信息比較弱。 大部分的用戶進行點擊時越靠前的點擊的概率越大，而引擎的排序又是由 pCTR、CVR、CPC 等多種因素決定的。從這種非常弱的信號里提取出語義的相似性或者差別，那就需要有海量的訓練樣本。

Q：DSSM模型做召回時的正負樣本選擇？

正樣本：曝光給用戶并且用戶點擊的item；

負樣本： 從全量候選item中召回，而不是從有曝光的item中召回

召回負樣本構造是一門學問，常見的負樣本構造方法有( 摘自張俊林大佬文章，SENet雙塔模型：在推薦領域召回粗排的應用及其它，關于負樣本構造方法總結的非常棒 ):

• 曝光未點擊數據 導致Sample Selection Bias(SSB)問題的原因。我們的經驗是，這個數據還是需要的，只是要和其它類型的負例選擇方法，按照一定比例進行混合，來緩解Sample Selection Bias問題。當然，有些結論貌似是不用這個數據，所以用還是不用，可能跟應用場景有關。
• 全局隨機選擇負例 就是說在原始的全局物料庫里，隨機抽取做為召回或者粗排的負例。這也是一種做法，Youtube DNN雙塔模型就是這么做的。從道理上講，這個肯定是完全符合輸入數據的分布一致性的，但是，一般這么選擇的負例，因為和正例差異太大，導致模型太好區(qū)分正例和負例，所以模型能學到多少知識是成問題的。
• Batch內隨機選擇負例 訓練的時候，在Batch內，選擇除了正例之外的其它Item，做為負例。這個本質上是：給定用戶，在所有其它用戶的正例里進行隨機選擇，構造負例。它在一定程度上，也可以解決Sample Selection Bias問題。比如Google的雙塔召回模型，就是用的這種負例方法。
• 曝光數據隨機選擇負例 在給所有用戶曝光的數據里，隨機選擇做為負例。這個我們測試過，在某些場景下是有效的。
• 基于Popularity隨機選擇負例 全局隨機選擇，但是越是流行的Item，越大概率會被選擇作為負例。目前不少研究證明了，負例采取Popularity-based方法，對于效果有明顯的正面影響。它隱含的假設是：如果一個例子越流行，那么它沒有被用戶點過看過，說明更大概率，對當前的用戶來說，它是一個真實的負例。同時，這種方法還會打壓流行Item，增加模型個性化程度。
• 基于Hard選擇負例 它是選擇那些比較難的例子，做為負例。因為難區(qū)分的例子，很明顯給模型帶來的loss和信息含量比價多，所以從道理上講是很合理的。但是怎樣算是難的例子，可能有不同的做法，有些還跟應用有關。比如Airbnb，還有不少工作，都是在想辦法篩選Hard負例上。

新浪微博的實踐經驗（直接copy大佬原話）：以上是幾種常見的在召回和粗排階段選擇負例的做法。我們在模型召回階段的經驗是：比如在19年年中左右，我們嘗試過選擇1+選擇3的混合方法，就是一定比例的“曝光未點擊”和一定比例的類似Batch內隨機的方法構造負例，當時在FM召回取得了明顯的效果提升。但是在后面做雙塔模型的時候，貌似這種方法又未能做出明顯效果。

Q:User Embedding 與 Item Embedding 如何保持一致性？

由于雙塔召回模型在Serving環(huán)節(jié)，主要包括異步Item刷庫Serving和User Serving兩部分，具體功能如下：
1.異步Item刷庫Serving，主要通過刷庫Item Serving捕獲所有的item embedding，以異步的方式反復刷庫，把得到的item embedding導入Faiss中，建立索引。為了保持版本的一致性，更新周期短即可。
2.User Serving，當用戶請求推薦引擎后，獲取該用戶的user features，然后請求User Serving產出user embedding；同時，基于全庫Item刷庫的Embedding結果產出的Faiss索引服務做近鄰搜索(ANN)，召回Top N個item集合。
User Embedding是實時從線上服務的模型中產生的，線上服務的模型一定是最新版本的模型。而Item Embedding是周期性拿全量Item庫刷線上服務模型得到，會出現有的Item Embedding是新的，有的是舊版的，版本不一致。
那在做近鄰搜索(ANN)時，User Embedding會和部分Item Embedding版本一致，都是從一個模型中產生的，而其余部分Item Embedding版本是上一版模型導出的。這種版本的不一致就會導致召回結果的準確性降低！
線上實時得到User Embedding時，也會拿到當前服務模型的版本號，如果用Tensorflow導出模型的話，模型的版本號就是導出模型時刻的時間戳。Item Embedding導入到Faiss中建立索引時，也會對這個建立的Faiss索引庫標上模型的版本號。
然后拿著帶有模型版本號的User Embedding，到對應版本號的Faiss索引庫中做近鄰搜索(ANN)，召回Top N個item集合。這個優(yōu)化主要集中在工程上，優(yōu)化難度也不大，主要就是能提升模型的在線收益。

Q:對于一個用戶的一次Batch打分請求，User塔只計算一次

在線Serving打分階段，一個Batch請求中包含一個用戶的特征和多個item的特征。一般是將用戶的特征復制Batch Size大小的次數，然后與每一個item的特征進行拼接，最后輸入到雙塔網絡中計算user對每個item的打分。
這里有一個問題是：如果user塔的網絡比較復雜或者用戶特征非常多時，這種Serving打分的方式容易導致user塔的大量、重復計算。通常推薦系統(tǒng)中用戶特征占比非常大，主要是用戶的各種session特征及各種畫像特征，而item的特征通常是一些屬性特征和統(tǒng)計特征，占一個Batch請求包的很小比例。User塔的優(yōu)化就是，對于一個用戶的一次Batch打分請求，User塔只計算一次，在得到最終User Embedding后，復制batch size份。

? 在線Serving時，每個Batch只有一個用戶的所有特征且拿一次，這里不是拿一個用戶的特征拿Batch Size次哦，所以在生成稀疏特征的Embedding和稠密特征時，我們只需要取第一行的Embedding數據和稠密特征數據就可以了，也就是用戶的特征只過一次User塔，User Embedding只需要生成一遍，這樣矩陣運算就可以優(yōu)化為向量運算。在得到最終的User Embedding后，把User Embedding再復制為batch size的維度。經過這一步的優(yōu)化，雙塔模型在線Serving時的打分耗時及線上服務需要的機器資源都減少了許多。

5.總結

• DSSM其核心思想是將query和doc映射到到共同維度的語義空間中，通過最大化query和doc語義向量之間的余弦相似度，從而訓練得到隱含語義模型，達到檢索的目的。
• DSSM主要用在召回和粗排階段。 在應?于推薦系統(tǒng)時，通過兩個塔分別去建模user側和item側的embedding，計算embedding之間的內積，最后?真實的label計算loss。
• user塔與item塔的DNN結構最后一層(全連接層)隱藏單元個數相同，保證user embedding和item embedding維度相同，后面相似度計算(如cos內積計算)，損失函數使用二分類交叉熵損失函數。

本文僅僅作為個人學習記錄所用，不作為商業(yè)用途，謝謝理解。

參考：https://blog.csdn.net/u012328159/article/details/123782735