混合搜索定義

Hybrid search（混合搜索）是一種強大的信息檢索策略，它將兩種或多種搜索技術結合到一個搜索算法中。

通常，混合搜索結合了 keyword search（關鍵詞搜索）和 semantic search（語義搜索），并利用先進的機器學習技術。Semantic search 根據(jù)文本的含義來檢索結果，而 full-text search（全文搜索）則關注精確的詞語匹配?；旌纤阉鲗τ趯υ捠讲樵円约澳欠N “那個叫什么來著？” 的模糊查詢非常重要，在這種情況下用戶無法或不愿輸入精確的關鍵詞。

Keyword search 和 semantic search 各有優(yōu)勢。Keyword search 使用排序算法和特定術語來判斷文檔與查詢的相關性，semantic search 則會結合上下文來理解查詢內容。

通過結合 semantic search 和傳統(tǒng)搜索的優(yōu)勢，混合搜索提升了搜索的精準度。在兼顧語義理解和精確匹配的同時，混合搜索能夠提供更佳的用戶搜索體驗。

混合搜索的組成部分

混合搜索是關鍵字搜索、詞匯搜索或 BM25（一個用于確定相關性的排序算法）與語義搜索的組合。語義搜索關注的是你希望通過搜索實現(xiàn)什么目標，而向量搜索關注的是如何實現(xiàn)這些結果，主要是通過使用向量表示來檢索數(shù)據(jù)。

語義搜索

語義搜索專注于理解含義和上下文。這種搜索方式不再像 BM25 那樣僅僅匹配關鍵詞，而是試圖理解查詢詞背后的意圖。語義搜索彌合了人類查詢和實際含義之間的差距，能夠處理語言中的多樣性和模糊性。它利用自然語言處理（?natural language processing?- NLP ）、機器學習、知識圖譜和向量來提供更符合用戶意圖的搜索結果，并融入上下文。

為了確定上下文，語義搜索可能會使用已知的用戶數(shù)據(jù)、位置或歷史搜索記錄來判斷相關結果。例如在美國搜索 “ football ”，與在世界其他地區(qū)搜索相同詞語所得到的結果會有所不同。語義搜索可以根據(jù)用戶的地理位置來識別其意圖。

向量搜索

向量搜索是一種技術性的搜索方法，它使用數(shù)值表示或向量來表示文本、圖像或音頻等內容，并根據(jù)相似性來檢索數(shù)據(jù)。這些向量捕捉了這些內容的潛在含義或特征。向量搜索通過衡量向量表示之間的相似性來檢索數(shù)據(jù)。

結合方法

語義搜索和向量搜索有很多共同點，事實上，語義搜索是由向量搜索驅動的。

當發(fā)起查詢時，搜索引擎會將查詢轉換為向量嵌入。一個算法，如 kNN 算法（k-nearest neighbor 算法），會將現(xiàn)有文檔的向量與查詢向量進行匹配。然后，該算法根據(jù)概念相關性生成結果。

當語義搜索和向量搜索協(xié)同工作時，平臺可以處理復雜查詢，包括多語言搜索和需要非結構化數(shù)據(jù)的搜索。

混合搜索如何工作

混合搜索融合了關鍵詞搜索和向量搜索，以提供全面的搜索結果。向量嵌入將句子或照片等數(shù)據(jù)轉換為數(shù)字，這些數(shù)字捕捉其含義和關系。數(shù)據(jù)會被分詞、建立索引，并由數(shù)值嵌入表示。向量搜索可以捕捉非結構化數(shù)據(jù)中的含義，克服關鍵詞搜索的局限 —— 即使用戶記不清準確描述或精確關鍵詞，也能基于含義進行搜索。混合搜索可以解析密集和稀疏向量，以返回最相關的結果。

密集向量

密集向量處理語義理解和上下文查詢。它們在現(xiàn)代機器學習中廣泛使用，尤其是在生成嵌入等任務中。

稀疏向量

稀疏向量處理傳統(tǒng)的基于關鍵詞的索引，信息分布較稀疏。此類向量常用于大數(shù)據(jù)集。

查詢處理

混合搜索中的查詢處理利用稀疏向量進行精確關鍵詞匹配和優(yōu)先排序，利用密集向量進行語義理解，捕捉上下文含義和意圖。通過結合這兩種向量，混合搜索提供了兼具特異性和相關性的全面搜索結果。為了生成結果，混合搜索使用 RRF（ reciprocal rank fusion ）將多個結果集（每個都具有不同的相關性指標）合并為一個結果集。

混合搜索的優(yōu)勢

混合搜索利用不同搜索方法的結合優(yōu)勢，相較于傳統(tǒng)搜索，為用戶帶來更多好處。其主要優(yōu)勢是以更少的努力提供更準確的搜索結果。

在各行各業(yè)，內部和外部的搜索算法都可以使用混合搜索來呈現(xiàn)相關結果。例如，電商平臺可以區(qū)分 “帶口袋的紅色連衣裙” 和 “第一次晚餐約會穿的紅色連衣裙，有放鑰匙和錢的空間” 這兩種搜索意圖。

另一個例子是在企業(yè)內部福利文件中搜索 “dogs” 時，可能會返回 “辦公室寵物政策” 相關結果。雖然查詢中沒有出現(xiàn)這個具體詞，但這可能是用戶想要的答案。

總體而言，混合搜索因其對語言的靈活性而提升用戶搜索體驗。它通過平衡語義理解和精確查詢詞，提高搜索的精準度。因此，可以高效處理對話式和復雜查詢，避免搜索死角和用戶挫敗感。

混合搜索與 RAG

檢索增強生成（Retrieval augmented generation?- RAG）是一種利用私有或專有數(shù)據(jù)源，為你的 LLM 原有知識庫補充上下文的搜索技術。RAG 對查詢非常有價值，因為它允許生成式 AI 系統(tǒng)利用外部信息源來生成更相關的回答。

結合混合搜索與 RAG —— 并引入額外的數(shù)據(jù)源 —— 能通過增加上下文，提高搜索體驗的相關性。額外的信息源可以是組織或客戶為回答查詢所需的任何內容，從互聯(lián)網的新信息到專有或機密的業(yè)務文檔。

相比單獨運行的語言模型，RAG 有幾個優(yōu)勢：成本更低，計算和存儲需求更少，并確保模型可以訪問最新信息。

Elastic 的混合搜索

Elastic 通過開箱即用支持語義搜索，使得實現(xiàn)混合搜索變得簡單。使用 Elastic，混合搜索可以在同一平臺和同一 API 上進行，具備更快的速度和規(guī)模，同時從一開始就提供更好的相關性。

借助 Elastic 的 playground，開發(fā)者可以在低代碼界面中，用自己的私有數(shù)據(jù)探索所選 LLM 的基礎能力。

Elastic 通過新引入的查詢檢索器（query retrievers）?—— 標準查詢、kNN 和 RRF，幫助開發(fā)者簡化查詢構建。利用這些查詢，Elastic 能理解所選數(shù)據(jù)并自動生成統(tǒng)一查詢。

混合搜索資源

• 親自動手體驗 Elasticsearch AI Playground

• 如何結合全文檢索和 kNN 結果

• aNN 與 kNN：理解它們在向量搜索中的區(qū)別和作用

• 使用 Elasticsearch 和 Go 進行穴居動物獵捕的混合搜索

• 如何執(zhí)行語義文本混合搜索

• 什么是 RAG？

• 什么是語義搜索？