📚線性回歸算法流程

• y=b+w·x

• 使用loss function L來(lái)評(píng)估函數(shù)的好壞
  

• 從而我們要選擇使L最小的模型參數(shù)w,b

• 使用梯度下降的方法

  

  

• 從而求導(dǎo)得：

  

📚Bias and variance

• error原因——bias（模型偏差）和variance（數(shù)據(jù)方差）:

• 數(shù)學(xué)原理：
  • 隨機(jī)變量x的均值為$\mu$，方差為${\sigma }^2$
  • 隨機(jī)采樣N個(gè)點(diǎn)，其均值不等于$\mu$，但是期望等于$\mu$，是無(wú)偏的 ，均值的方差是${\sigma }^2/N$
  • N個(gè)點(diǎn)的方差記為$s^2$,方差的期望為$(N?1)/N?{\sigma }^2$，不等于${\sigma }^2$
  • 用bias表示整體距離實(shí)際值的距離，用variance表示點(diǎn)的分散程度

每次采樣一個(gè)訓(xùn)練集，訓(xùn)練一個(gè)模型，采樣100次

• 簡(jiǎn)單模型：模型直接的variance很小，但是bias可能略大

• 復(fù)雜模型：variance很大，但是bias會(huì)小

模型會(huì)更擬合數(shù)據(jù)點(diǎn)，各個(gè)模型直接的差別很大，所以簡(jiǎn)單的模型受采樣數(shù)據(jù)的影響更小

• 模型分析：

  • 我們對(duì)每個(gè)模型f*取均值，看是否接近真實(shí)的模型f，如果差得遠(yuǎn)，則bias大，接近則bias小
  • 大bias小variance可能是欠擬合，而小bias大variance可能是過(guò)擬合。
  • 如果數(shù)據(jù)無(wú)法很好的擬合訓(xùn)練集，則會(huì)有大bias，欠擬合；如果可以很好擬合訓(xùn)練集，但是在測(cè)試集上表現(xiàn)不好，會(huì)有大的variance，過(guò)擬合。

• 解決方法：

  • 對(duì)于大bias欠擬合來(lái)說(shuō)，可以重新選擇模型，增加輸入特征，或者是使用更復(fù)雜的模型，或者進(jìn)行交叉驗(yàn)證
  • 對(duì)于大variance過(guò)擬合來(lái)說(shuō)，可以增加數(shù)據(jù)集的數(shù)量，或者是引入正則項(xiàng)
  • 在bias和variance之間存在trade-off，可以選擇模型使得total-error最小即可。

📚過(guò)擬合&欠擬合

• 欠擬合：
  • 定義：模型無(wú)法捕捉數(shù)據(jù)中的規(guī)律和復(fù)雜性，表現(xiàn)為訓(xùn)練誤差和測(cè)試誤差都較高。
  • 原因：模型的復(fù)雜度不夠，無(wú)法很好地?cái)M合數(shù)據(jù)。
  • 解決方法：提高模型復(fù)雜度、增加特征數(shù)量、增加模型的學(xué)習(xí)能力等。
• 過(guò)擬合：
  • 定義：模型過(guò)度擬合了訓(xùn)練數(shù)據(jù)的噪聲和細(xì)節(jié)，表現(xiàn)為在訓(xùn)練集上表現(xiàn)良好，在測(cè)試集上表現(xiàn)較差。
  • 原因：模型復(fù)雜度過(guò)高，導(dǎo)致模型過(guò)度適應(yīng)訓(xùn)練數(shù)據(jù)的特征和噪聲。
  • 解決方法：降低模型復(fù)雜度、增加數(shù)據(jù)量、采用正則化方法（如L1、L2正則化）等。
• 改進(jìn)方法：
  • 交叉驗(yàn)證：通過(guò)交叉驗(yàn)證來(lái)選擇合適的模型復(fù)雜度，同時(shí)避免過(guò)擬合和欠擬合。
  • 特征選擇：選取對(duì)模型預(yù)測(cè)有用的特征，在避免過(guò)多無(wú)用特征的情況下，消除噪聲的影響。
  • 正則化：通過(guò)L1或L2正則化，限制模型參數(shù)的大小，防止模型過(guò)擬合。
  • 增加數(shù)據(jù)量：增加數(shù)據(jù)量可以幫助模型更好地捕捉數(shù)據(jù)的規(guī)律，減少模型的過(guò)擬合情況。
  • 集成學(xué)習(xí)：使用集成學(xué)習(xí)方法，如bagging、boosting等，可以在一定程度上減小模型的過(guò)擬合風(fēng)險(xiǎn)。

---

• 關(guān)于交叉驗(yàn)證
  • 交叉驗(yàn)證是一種評(píng)估模型性能和泛化能力的統(tǒng)計(jì)學(xué)方法。它通過(guò)反復(fù)地將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，在訓(xùn)練集上訓(xùn)練，在驗(yàn)證集上測(cè)試，來(lái)評(píng)估模型的性能。
  • 常見的交叉驗(yàn)證方法包括k折交叉驗(yàn)證、留一交叉驗(yàn)證等。在k折交叉驗(yàn)證中，數(shù)據(jù)集被隨機(jī)分成k個(gè)大小相似的互斥子集，每個(gè)子集都盡可能保持?jǐn)?shù)據(jù)分布的一致性。然后，進(jìn)行k次模型訓(xùn)練和測(cè)試，每次選擇一個(gè)子集作為驗(yàn)證集，其余的k-1個(gè)子集作為訓(xùn)練集，取結(jié)果最好的作為最終模型。
  • 交叉驗(yàn)證的目的是：
    • 評(píng)估模型的性能：通過(guò)交叉驗(yàn)證，可以更準(zhǔn)確地評(píng)估模型的性能，而不會(huì)受到單次劃分?jǐn)?shù)據(jù)帶來(lái)的偶然性影響。
    • 泛化能力：交叉驗(yàn)證可以更好地評(píng)估模型的泛化能力，即模型對(duì)未見過(guò)的數(shù)據(jù)的適應(yīng)能力。
    • 另外，對(duì)于數(shù)據(jù)較少的情況下，交叉驗(yàn)證可以最大限度地利用有限的數(shù)據(jù)，減小因訓(xùn)練集和測(cè)試集的劃分不同導(dǎo)致評(píng)估性能的差異。在模型選擇以及調(diào)參時(shí)也非常有用，可以幫助選擇最優(yōu)模型并提高模型的性能。

📚邏輯回歸算法流程

• 分類即輸入一個(gè)樣本，判斷其類別，損失函數(shù)為：
  

• 使用sigmoid函數(shù)，將概率劃分到[0,1]之間：
  

• 使用交叉熵?fù)p失函數(shù)的方法找到最優(yōu)的w和b，便于求導(dǎo)取-log，乘積變?yōu)榍蠛?#xff1a;
  

• 然后將f函數(shù)全部代回對(duì)w求導(dǎo)找最優(yōu)解,求導(dǎo)后的結(jié)果為：
  

• 求導(dǎo)之后可知f=1，y=1時(shí)，f=0，y=0時(shí)cross Entropy最小，從而wx->正無(wú)窮，y=1，wx->負(fù)無(wú)窮，y=0

---

• 使用邏輯回歸進(jìn)行多分類的話，sigmoid函數(shù)變?yōu)?#xff1a;
  

• 所有的y求和為1，y表示第i類的概率，是softmax操作，softmax就是把一些輸入映射為0-1之間的實(shí)數(shù)，并且歸一化保證和為1。

• 邏輯回歸只能對(duì)線性可分的數(shù)據(jù)有閉式解，對(duì)于線性不可分的數(shù)據(jù)分類能力很差，可以進(jìn)行特征轉(zhuǎn)化，從原特征映射到新的特征空間，然后在新的特征空間進(jìn)行分類。

---

??補(bǔ)充博客

• 單變量線性回歸
• 多變量線性回歸
• 邏輯回歸
• 優(yōu)化算法 | 評(píng)估方法