事情經(jīng)過

最近在做批量數(shù)據(jù)處理的相關(guān)業(yè)務(wù)，在和下游對接時，發(fā)現(xiàn)拉取他們的業(yè)務(wù)數(shù)據(jù)剛開始很快，后面會越來越慢，40萬數(shù)據(jù)一個小時都拉不完。經(jīng)過排查后，發(fā)現(xiàn)對方用了很坑的分頁查詢方式 —— LIMIT OFFSET，導(dǎo)致數(shù)據(jù)量大的時候查詢效率爆低。

簡單分享下，為什么使用了 LIMIT OFFSET會導(dǎo)致查詢效率變低 ——?

主要原因

1. 數(shù)據(jù)庫掃描：當(dāng) OFFSET 值很大時，數(shù)據(jù)庫引擎需要掃描和跳過 OFFSET 行之前的數(shù)據(jù)，這會導(dǎo)致數(shù)據(jù)庫執(zhí)行大量的讀取和跳過操作，增加了查詢的開銷。

2. 數(shù)據(jù)庫排序：通常情況下，使用 LIMIT 和 OFFSET 進(jìn)行分頁需要對查詢結(jié)果進(jìn)行排序。當(dāng) OFFSET 值很大時，需要對大量的數(shù)據(jù)進(jìn)行排序操作，這也會增加查詢的時間和資源消耗。

3. 內(nèi)存使用：OFFSET 值較大時，數(shù)據(jù)庫可能需要將大量的數(shù)據(jù)加載到內(nèi)存中進(jìn)行排序和跳過操作，這會增加內(nèi)存的使用量，對數(shù)據(jù)庫性能產(chǎn)生影響。

解決方案

為了解決這個問題，可以考慮使用其他分頁技術(shù)，例如基于游標(biāo)（Cursor-based）的分頁。游標(biāo)分頁不依賴于 OFFSET 值，而是使用基于某個唯一標(biāo)識符（例如主鍵）的游標(biāo)來獲取下一頁的數(shù)據(jù)。這種方式可以避免數(shù)據(jù)庫掃描和排序的開銷，提高查詢性能。下游最終也是采取了使用主鍵id進(jìn)行了分頁。

另外，對于大型數(shù)據(jù)集的分頁查詢，還可以考慮使用索引優(yōu)化、緩存技術(shù)、分庫分表等方法來提高查詢性能。

總結(jié)一下，使用 LIMIT 和 OFFSET 進(jìn)行分頁時，當(dāng) OFFSET 值很大時可能會導(dǎo)致查詢變慢，因為需要掃描和跳過大量的數(shù)據(jù)。為了提高性能，可以考慮使用游標(biāo)分頁或其他優(yōu)化技術(shù)來替代使用 OFFSET 進(jìn)行分頁。