LLM近期研究是井噴式產(chǎn)出，如此多的文章該處何處下手，他們到底又在介紹些什么、解決什么問題呢？“為學日增，為道日損”，我們該如何從如此多的論文中找到可以“損之又損以至于無”的更本質(zhì)道或者說是這個方向的核心模型。只有有了這樣的更核心根本的模型，我們才能更容易的把控LLM的發(fā)展方向，不至于“亂花漸欲迷人眼”，把自己丟失在論文的海洋。

LLM建模

LLM是對什么的建模

從點擊率預估說起

熟悉廣告營銷的朋友應會很熟悉 ctrcvrcpm 這個公式，其實互聯(lián)網(wǎng)的一大半的員工也是圍繞這個公司生存。所謂的黑客增長、用戶生命周期、活動運營、內(nèi)容運營…基本都繞不開這個公式。
那么這個公式到底是怎么來的呢，為何有如此魔力可以養(yǎng)活成千上萬的員工呢。其實這個公式就是對營銷的3階段的一個建模：
**促達用戶：**通過什么手段可以把東西促達用戶，促達用戶后您能吸引到多少用戶看你表演
**用戶轉(zhuǎn)化：**吸引到的用戶經(jīng)過你的一些列表演，有多少用戶為之買單
**成本收益：**為了這次在用戶面前露臉表演的機會你付出多少成本，你能得到多少收入，收益比是否正向
對營銷業(yè)務過程建模完后，接下來要做的事就是如何完善和提高每個模塊的性能；讓商業(yè)活動可以正向循環(huán)。也就是說互聯(lián)網(wǎng)的員工基本都在圍繞這個大的業(yè)務建模，在每個模塊下構(gòu)建更牛逼高效系統(tǒng)來去的競爭也優(yōu)勢。舉例來講：
促達用戶轉(zhuǎn)化率提升：
1.找到人數(shù)更多的流量路口，提高覆蓋的人口基數(shù)——內(nèi)容吸引搞流量增長、權(quán)益激勵吸引流量、活動營銷吸引流量、服務入口吸引流量…
2.找到更符合自己業(yè)務的流量入口，提高匹配率——用戶畫像、look like、社區(qū)發(fā)現(xiàn)、點擊率預估系統(tǒng)…
3.發(fā)現(xiàn)流量中人群特點迎合流量制造服務，發(fā)現(xiàn)制造機會——人群洞察、輿情洞察、新物種造貨、事件營銷、意圖理解…
用戶轉(zhuǎn)化率提升：
1.提高服務和用戶需求點匹配度——點擊率預估、購買用戶意圖分析、購買用戶相似人群發(fā)現(xiàn)、服務個性化呈現(xiàn)、粉絲經(jīng)濟…
2.提高有需求用戶復購的機會——復購時機發(fā)現(xiàn)、關(guān)聯(lián)推薦、沉默用戶激活、會員運營、大促活動、618、1111…
3.制造需求消費機會——私域運營、種草、粉絲營銷、短視頻營銷、場景化營銷、演繹營銷、新物種、根據(jù)用戶需求造貨…
成本收益：
1.田忌賽馬，點擊率廣告競價——DSP、DMP提高預測準確率獲得更多下沉高價值競爭
2.高價值機會發(fā)現(xiàn)——品牌廣告（汽車、耐用品、莆田系、牙科…）
3.提高產(chǎn)品價值，個性化服務——軟文廣告、和高熱up合作定向營銷、出教程普及逐步把自己產(chǎn)品變標準(微軟各種產(chǎn)品、各種云廠商解決方案）…

LLM建模了什么

上面對廣告點擊率預估這個已經(jīng)很成熟的產(chǎn)業(yè)做了介紹，介紹了這個產(chǎn)業(yè)事如果對營銷業(yè)務進行建模，抽象成三個模塊。然后整個產(chǎn)業(yè)是如何圍繞折三個建模的模塊在精進、精耕細作產(chǎn)生出一個可以養(yǎng)活幾千萬人的產(chǎn)業(yè)。對于現(xiàn)在大火的LLM模型如果要從火逐步轉(zhuǎn)變成可以產(chǎn)業(yè)化，成為一個可以容納幾千萬人就業(yè)的產(chǎn)業(yè)構(gòu)建一個業(yè)務建模似乎也是必須的。然而現(xiàn)在的LLM還處在技術(shù)發(fā)展階段，雖然已經(jīng)有很多的應用但是很多使用者只是圍繞LLM淺顯的技術(shù)能力在開展。個人覺得這個階段的LLM業(yè)務建模似乎是困難和非必要的，反倒是對LLM的技術(shù)建模能夠更深刻的認識LLM是一個什么技術(shù)、在解決什么問題、后續(xù)可以如何改進是更有意義的。
LLM個人覺得其實就是對信息在做整理、總結(jié)、表達，它不只是具備信息整理、總結(jié)、表達的處理能力、同時具備把它見過的信息整理組織成他可以使用的數(shù)據(jù)來源，也就是說他擁有知識和知識加工的能力。當然現(xiàn)在的LLM還是初級階段，處理知識、知識表示、知識表達能力還是不太完美的。
我們嘗試對上面的描述做一個更結(jié)構(gòu)化的表述：
1.LLM具備知識表示能力
2.LLM具備知識抽取、存儲組織能力
**
這三個能力其實在LLM里面并非是可以剝離開來的，而是全部的混在LLM參數(shù)里面，也就是說LLM具備知識存儲、知識整理、知識檢索、聯(lián)想、組織、表達的能力，并且是一體的全部存在它巨大的參數(shù)里面。
看起來這個業(yè)務建模是不是挺復雜的，比廣告營銷的模型復雜好多。并且感覺這個東西還沒法想廣告營銷模型那樣可以分成比較明顯的階段模塊，全部都混在一起。

pretrain、sft、rlhf在講什么

接觸過LLM的同學應該對pretrain、sft、rlhf這幾個詞不陌生，那么為什么LLM的訓練一定要經(jīng)過這三個階段？市面上能看到的解釋都是從word2vec–elmo–in content這條路線來解釋。但是感覺解釋完好像還是沒有特別讓人置信。
針對這個問題我思考了很久，個人覺得其實用高中學過的齊次方程求解的方法來解釋是比較合適的。齊次方程的求解包括了3種：齊次方程組通解、特解、約束解；其實pretrain過程對應的就是齊次方程的通解、sft過程對應的就是齊次方程的特解、RLHF過程對應的就是齊次方程的約束解。
那么如何去構(gòu)建這個齊次方程呢，里面的未知數(shù)x、y、z…或者說求解空間的表示基是誰呢？又是用什么來構(gòu)建出求解的等式的呢？這個齊次方程式對應的物理意義又是什么呢？
1.知識表示能力
每個知識點的表示對應的就是齊次方程的基，也就是是說這個方程的定義域集合中的每個元素可以認為是每個知識表示。
當然這個知識點的表示是隱式的，并非我們顯示給進去的定義好的，所以實際做模型訓練時候并沒有輸入這么一個知識表示（embbeding和token.json輸入的不是顯示獨營這部分）。
2.如何去構(gòu)建求解等式
輸入訓練的語料就是為了構(gòu)建求解等式方程，所以也就是為什么語料構(gòu)建需要多樣化、語料不能夠過多重復。過多重復的語料相當于很多求解方程是重復的，求解過程中會把很多知識表示維度變小導致模型過擬合。語料構(gòu)建多樣性其實就是為了構(gòu)建更多差異化的求解方程，讓齊次方程求解能夠得到唯一解。
3.對應的物理意義
pretrain過程包含了對知識表示（基維度的確認）、知識抽取和存儲組織能力的訓練，也具備一定的知識檢索、聯(lián)想、組織能力訓練。
sft過程更多是對LLM表達能力的訓練，通過給定有監(jiān)督的答案組來調(diào)教LLM具備檢索、聯(lián)想、組織能力。
RLHF過程其實就是讓知識表述遵循人類約束（安全、道德、風格…）。

為什么要RAG+LLM

已經(jīng)有了可以對知識表示、抽取、存儲組織、知識檢索、聯(lián)想、組織表達的LLM，那為什么還需要RAG鏈路呢？RAG本質(zhì)上又是在做什么事呢？
有了LLM之所以還需要RAG原因很簡單，LLM解決不了RAG能解決的問題。那么RAG到底幫助LLM解決了什么問題，又是如何解決、為何能夠解決的呢？RAG其實就是對LLM的檢索、聯(lián)想能力的外擴，之所以把這些部分外擴原因就在于如果完全依賴LLM的能力來解決，解決成本會很高，并且不容易控制。所以我們可以花更小的代價把有一些環(huán)節(jié)外擴出來，把信息檢索、組織好想當于有一個底稿然后在讓LLM做組織表達以更可控和高效的解決實際問題。
換句話講RAG的目的就是讓LLM更容易控制、更高效精準生成，通過外擴來控制單一建模的LLM，讓生成更可控。對于一些知識有可能是私域或者是時事類的信息，LLM沒有組織表示，如果不給輸入很可能就沒法給出準確答案。還有可能是LLM知識點太多，通過RAG檢索到的線索來約束LLM生成邊界。又或者可以通過RAG更精準可控的檢索到控制條件，來約束LLM生成；或者是約束LLM生成結(jié)果的匹配度以約束下一輪持續(xù)生成。

通過retrieve回來的信息來控制LLM生成的效果。

如何做RAG+LLM

RAG+LLM看起來似乎是比較工程化的事情，這里面還有什么可以講究的嗎？確實可以把RAG做的很工程化，但是RAG+LLM能夠發(fā)揮出很好的作用，更多在于個模塊的相互配合，所以個人是不太建議單純把這件事當成是一件工程化的事，否則你很快會發(fā)現(xiàn)這東西感覺加個RAG并不能夠起到多大作用。個人覺得RAG應該是一個控制模塊，如何和LLM配合好才是重點。
上圖總結(jié)了最近的一些論文在做的工作，主要是圍繞三個方面：
1.RAG檢索回什么，是chunk、token、信息的二階標簽還是內(nèi)容的語義表示；這個其實代表的定義域空間的約束
2.檢索如何控制LLM生成，是作為上下文、還是作為控制權(quán)柄對生成信息做過濾、還是把檢索回來信息作為控制參數(shù)嵌入LLM控制生成
3.檢索的觸發(fā)時間是什么時候，LLM每生成一個詞就檢索一次、還是生成一段話再檢索約束一次、還是檢索一次一直約束到生成結(jié)尾

檢索如何控制LLM生成

把檢索回的信息作為上下文，通過prompt方式控制LLM生成

檢索回的信息作為控制參數(shù)，嵌入LLM控制生成

檢索回的信息對LLM生成后的內(nèi)容做控制約束

什么時候利用檢索

有做過Motion plan的同學應該會很清楚，學院派的motion plan是分層前后端兩部分，每個部分又是為了生成軌跡的質(zhì)量做了很多的約束才能保證生成的軌跡符合實際需要。一樣的如果把內(nèi)容生成看成是知識點軌跡生成過程，那么什么時候?qū)壽E生成施加控制這件事就會變的很重要。
是在軌跡規(guī)劃前輸入約束（對應motion plan靜態(tài)障礙物地圖），還是可以在軌跡生成過程中走了一段計算一次約束（對應motion plan沒有地圖需要實時建圖），還是需要每生成一個軌跡生成下一個軌跡點時候就需要加入約束（對應環(huán)境、機器人不確定性大的場景）。
這部分必須要有具體的例子才好說明，所以這部分會放在下一篇文章介紹。會嘗試從最近提出的RAG論文角度來通過例子方式呈現(xiàn)約束時機的差異。

小結(jié)：

本文通過廣告營銷點擊率預估的建模為例子介紹了如何對實際業(yè)務問題建模，提出了LLM是在對什么建模的假設。1.LLM具備知識表示能力
2.LLM具備知識抽取、存儲組織能力
**
這三個能力其實在LLM里面并非是可以剝離開來的，而是全部的混在LLM參數(shù)里面，也就是說LLM具備知識存儲、知識整理、知識檢索、聯(lián)想、組織、表達的能力，并且是一體的全部存在它巨大的參數(shù)里面。
介紹完LLM是對什么過程建模，然后介紹了現(xiàn)在流行的pretrain、sft、rlhf實際上是在做什么的更數(shù)學概念化介紹。齊次方程的求解包括了3種：齊次方程組通解、特解、約束解；其實pretrain過程對應的就是齊次方程的通解、sft過程對應的就是齊次方程的特解、RLHF過程對應的就是齊次方程的約束解。
介紹完LLM的訓練流程，又介紹了RAG，提出了RAG其實就是在對LLM可控性生成。介紹了RAG對可控性的幾個影響點：
1.RAG檢索回什么，是chunk、token、信息的二階標簽還是內(nèi)容的語義表示；這個其實代表的定義域空間的約束
2.檢索如何控制LLM生成，是作為上下文、還是作為控制權(quán)柄對生成信息做過濾、還是把檢索回來信息作為控制參數(shù)嵌入LLM控制生成
3.檢索的觸發(fā)時間是什么時候，LLM每生成一個詞就檢索一次、還是生成一段話再檢索約束一次、還是檢索一次一直約束到生成結(jié)尾