模型簡(jiǎn)介

SHViT是一種創(chuàng)新的 單頭視覺Transformer ，旨在優(yōu)化計(jì)算效率和內(nèi)存使用。它的核心設(shè)計(jì)理念圍繞著消除傳統(tǒng)視覺Transformer架構(gòu)中的冗余元素，特別關(guān)注宏觀和微觀設(shè)計(jì)層面的問題。

SHViT采用了 16×16的大跨度patchify stem 和 3階段結(jié)構(gòu) ，這種獨(dú)特的設(shè)計(jì)不僅有效減少了內(nèi)存訪問成本，還能充分利用早期階段的緊湊令牌表示。這種方法巧妙地平衡了計(jì)算效率和表示能力，為后續(xù)的注意力機(jī)制奠定了堅(jiān)實(shí)的基礎(chǔ)。

在微觀層面，SHViT引入了革命性的 單頭自注意力(SHSA)模塊 。這個(gè)模塊的核心思想是在每個(gè)自注意力層只對(duì)輸入通道的子集應(yīng)用單頭自注意力，而保留其他通道不變。這種設(shè)計(jì)不僅消除了多頭機(jī)制帶來的計(jì)算冗余，還通過處理部分通道顯著降低了內(nèi)存訪問成本。更重要的是，SHSA層允許在相同的計(jì)算預(yù)算內(nèi)堆疊更多具有更大寬度的塊，從而在不增加整體計(jì)算負(fù)擔(dān)的情況下提升模型性能。

SHViT的設(shè)計(jì)理念體現(xiàn)了對(duì)計(jì)算資源的精妙利用。通過消除不必要的計(jì)算冗余，SHViT能夠在保持高性能的同時(shí)大幅提高計(jì)算效率。這種設(shè)計(jì)使SHViT成為一種理想的輕量級(jí)視覺Transformer，特別適合在資源受限的環(huán)境中部署，如移動(dòng)設(shè)備或邊緣計(jì)算節(jié)點(diǎn)。

SHViT的成功在于它對(duì)傳統(tǒng)視覺Transformer架構(gòu)的重新思考。通過簡(jiǎn)化注意力機(jī)制和優(yōu)化整體結(jié)構(gòu)，SHViT成功地在保持高精度的同時(shí)顯著提升了計(jì)算效率。這種平衡使得SHViT成為一個(gè)極具吸引力的選擇，尤其適用于需要快速響應(yīng)的應(yīng)用場(chǎng)景，如實(shí)時(shí)圖像處理或大規(guī)模視頻分析系統(tǒng)。

設(shè)計(jì)動(dòng)機(jī)

SHViT模型的設(shè)計(jì)動(dòng)機(jī)源于對(duì)現(xiàn)有視覺Transformer架構(gòu)的改進(jìn)需求。其核心目標(biāo)是解決實(shí)時(shí)應(yīng)用中的計(jì)算效率和內(nèi)存使用問題，特別是在資源受限的環(huán)境中。通過消除傳統(tǒng)多頭注意力機(jī)制的冗余計(jì)算，SHViT致力于提供一個(gè)更加高效、靈活的替代方案，以適應(yīng)現(xiàn)代計(jì)算機(jī)視覺任務(wù)日益增長(zhǎng)的需求。

單頭注意力機(jī)制

SHViT模型中的單頭注意力機(jī)制是其核心技術(shù)之一，旨在優(yōu)化計(jì)算效率和內(nèi)存使用。這種機(jī)制通過簡(jiǎn)化傳統(tǒng)的多頭注意力結(jié)構(gòu)，在保持模型性能的同時(shí)顯著降低了計(jì)算復(fù)雜度。

單頭注意力機(jī)制的核心思想是在每個(gè)自注意力層只對(duì)輸入通道的子集應(yīng)用單頭自注意力，而保留其他通道不變。這種方法不僅消除了多頭機(jī)制帶來的計(jì)算冗余，還通過處理部分通道顯著降低了內(nèi)存訪問成本。具體而言，SHViT的單頭注意力機(jī)制工作流程如下：

1. 生成查詢、鍵和值向量

2. 計(jì)算注意力分?jǐn)?shù)

3. 縮放注意力分?jǐn)?shù)

4. 歸一化注意力分?jǐn)?shù)

5. 加權(quán)求和

值得注意的是，SHViT的單頭注意力機(jī)制允許在相同的計(jì)算預(yù)算內(nèi)堆疊更多具有更大寬度的塊。這種設(shè)計(jì)使得SHViT能夠在不增加整體計(jì)算負(fù)擔(dān)的情況下提升模型性能，從而實(shí)現(xiàn)了計(jì)算效率和表示能力的良好平衡。

通過引入單頭注意力機(jī)制，SHViT成功地解決了傳統(tǒng)多頭注意力機(jī)制中存在的計(jì)算冗余問題。這種方法不僅提高了模型的計(jì)算效率，還在一定程度上改善了模型的性能。例如，在ImageNet-1k數(shù)據(jù)集上，SHViT-S4模型相比MobileViT v2 ×1.0，在GPU、CPU和iPhone 12移動(dòng)終端上分別快3.3倍、8.1倍和2.4倍，同時(shí)準(zhǔn)確率高出1.3%。

這種單頭注意力機(jī)制的設(shè)計(jì)充分體現(xiàn)了SHViT模型在追求計(jì)算效率和性能平衡方面的創(chuàng)新思路，為視覺Transformer的發(fā)展提供了新的可能性。

大跨度patchifystem

在探討SHViT模型的核心技術(shù)特點(diǎn)時(shí)，大跨度patchify stem是一個(gè)不容忽視的重要組成部分。這項(xiàng)創(chuàng)新設(shè)計(jì)不僅直接影響了模型的整體架構(gòu)，還對(duì)其性能產(chǎn)生了深遠(yuǎn)影響。

SHViT模型采用了 16×16的大跨度patchify stem ，這是一種突破性的設(shè)計(jì)選擇。與傳統(tǒng)4×4 patch embedding相比，這種更大的patch size帶來了多重優(yōu)勢(shì)：

1. 顯著減少內(nèi)存訪問成本 ：通過減少patch的數(shù)量，模型能夠更高效地管理內(nèi)存，降低數(shù)據(jù)傳輸和操作的開銷。

2. 充分利用早期階段的緊湊令牌表示 ：大跨度patchify stem能夠捕獲更廣泛的上下文信息，為后續(xù)的處理步驟提供豐富的語義表示。

3. 平衡計(jì)算效率和表示能力 ：盡管使用較大的patch可能導(dǎo)致一些細(xì)節(jié)信息的丟失，但SHViT通過精心設(shè)計(jì)的單頭注意力機(jī)制，在保持高效計(jì)算的同時(shí)&#x