這里的相關概念都是基于已有預訓練模型，就是模型本身已經(jīng)訓練好，有一定泛化能力。需要“再加工”滿足別的任務需求。

進入后GPT時代，對模型的Fine-tuning也將成為趨勢，借此機會，我來科普下相關概念。

1.Fine-tuning (微調(diào))

有些人認為微調(diào)和訓練沒有區(qū)別，都是訓練模型，但是微調(diào)是在原模型訓練好的的基礎上，做針對性的再訓練。微調(diào)一般用額外的數(shù)據(jù)集，降低學習率讓模型適應特定任務。

2.Transfer Learning (遷移學習)

遷移學習大意是讓模型適應新的任務，這涉及模型的改進和再訓練?？梢园盐⒄{(diào)看作是遷移學習的一種。

相比微調(diào)，遷移學習很多時候并不需要訓練原有模型，可以只訓練一部分，或者給模型加1-2層后，用元模型的輸出作為遷移學習的輸入，訓練額外添加部分即可。

3.Knowledge Distillation (知識蒸餾)

KD目標是用一個小模型去學習大模型的能力，在保證基線性能的前提下，降低模型的參數(shù)和復雜度。

4.Meta Learning (元學習)

Learning to Learning，就是學會學習，這個概念并不需要預訓練模型。元學習是指模型學習各類任務數(shù)據(jù)，然后學會各類任務的共性，從而適應新的任務。