1、線性回歸概述

線性回歸（Linear Regression）是很基礎(chǔ)的機(jī)器學(xué)習(xí)算法。線性回歸在機(jī)器學(xué)習(xí)知識結(jié)構(gòu)中的位置如下：

1.1、回歸

回歸（Regression）是一種應(yīng)用廣泛的預(yù)測建模技術(shù)，這種技術(shù)的核心在于預(yù)測的結(jié)果是連續(xù)型變量

回歸是監(jiān)督學(xué)習(xí)中的一個重要問題，用于預(yù)測輸入變量（自變量）和輸出變量（因變量）之間的關(guān)系，特別是當(dāng)輸入變量的值發(fā)生變化時，輸出變量的值隨之發(fā)生的變化，回歸模型正是表示從輸入變量到輸出變量之間映射的函數(shù)

其中，自變量表示主動操作的變量，可以看做因變量的原因。因變量因為自變量的變化而變化，可以看做自變量的結(jié)果

回歸問題的學(xué)習(xí)等價于函數(shù)擬合：選擇一條函數(shù)曲線，使其很好地擬合已知數(shù)據(jù)且很好地預(yù)測未知數(shù)據(jù)

回歸的目的是為了預(yù)測，比如預(yù)測明天的天氣溫度，預(yù)測股票的走勢…

回歸之所以能預(yù)測是因為他通過歷史數(shù)據(jù)，摸透了“套路”，然后通過這個套路來預(yù)測未來的結(jié)果

1.2、線性

“越…，越…”，符合這種說法的就可能是線性個關(guān)系，例如，房子越大，價格就越高

但是并非所有“越…，越…”都是線性的，例如，“充電越久，電量越高”，它就類似下面的非線性曲線：

線性關(guān)系不僅僅只能存在2個變量（二維平面）。3個變量時（三維空間），線性關(guān)系就是一個平面，4個變量時（四維空間），線性關(guān)系就是一個體。以此類推…

1.3、線性回歸

線性回歸本身是統(tǒng)計學(xué)里的概念，現(xiàn)在經(jīng)常被用在機(jī)器學(xué)習(xí)中

在統(tǒng)計學(xué)中，線性回歸（Linear Regression）是利用稱為線性回歸方程的最小平方和函數(shù)對一個或多個自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析，這種函數(shù)是一個或多個被稱為回歸系數(shù)的模型參數(shù)的線性組合 。只有一個自變量時稱為簡單回歸，大于一個自變量時稱為多元回歸

如果2個或者多個變量之間存在“線性關(guān)系”，那么我們就可以通過歷史數(shù)據(jù)，摸清變量之間的“套路”，建立一個有效的模型，來預(yù)測未來的變量結(jié)果

1.4、線性回歸的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：

• 建模速度快，不需要很復(fù)雜的計算，在數(shù)據(jù)量大的情況下依然運(yùn)行速度很快
• 可以根據(jù)系數(shù)給出每個變量的理解和解釋

缺點(diǎn)：

• 不能很好地擬合非線性數(shù)據(jù)。所以需要先判斷變量之間是否是線性關(guān)系

為什么在深度學(xué)習(xí)大殺四方的今天還使用線性回歸呢？

一方面，線性回歸所能夠模擬的關(guān)系其實遠(yuǎn)不止線性關(guān)系。線性回歸中的“線性”指的是系數(shù)的線性，而通過對特征的非線性變換，以及廣義線性模型的推廣，輸出和特征之間的函數(shù)關(guān)系可以是高度非線性的。另一方面，也是更為重要的一點(diǎn)，線性模型的易解釋性使得它在物理學(xué)、經(jīng)濟(jì)學(xué)、商學(xué)等領(lǐng)域中占據(jù)了難以取代的地位

1.5、線性回歸與邏輯回歸

線性回歸和邏輯回歸是2種不同的經(jīng)典算法。經(jīng)常被拿來做比較，下面整理了一些兩者的區(qū)別：

比較項	解決問題類型	變量類型	線性關(guān)系	表達(dá)變量關(guān)系
線性回歸	回歸	連續(xù)	符合線性關(guān)系	直觀表達(dá)變量關(guān)系
邏輯回歸	分類	離散	可以不符合線性關(guān)系	無法直觀表達(dá)變量關(guān)系

• 線性回歸只能用于回歸問題，邏輯回歸雖然名字叫回歸，但是更多用于分類問題（關(guān)于回歸與分類的區(qū)別參考文章：傳送門）
• 線性回歸要求因變量是連續(xù)性數(shù)值變量，而邏輯回歸要求因變量是離散的變量
• 線性回歸要求自變量和因變量呈線性關(guān)系，而邏輯回歸不要求自變量和因變量呈線性關(guān)系
• 線性回歸可以直觀的表達(dá)自變量和因變量之間的關(guān)系，邏輯回歸則無法表達(dá)變量之間的關(guān)系

2、線性回歸的原理

2.1、線性回歸的定義與原理

線性回歸的定義及原理推導(dǎo)詳見文章：傳送門

2.2、線性回歸的損失函數(shù)

損失函數(shù)（Loss Function），也稱成本函數(shù)（Cost Function），描述的是模型的預(yù)測值與真實值的差異，并將這種差異映射為非負(fù)實數(shù)以表示模型可能帶來的“風(fēng)險”或“損失”。機(jī)器學(xué)習(xí)中將損失函數(shù)作為模型擬合好壞的評判準(zhǔn)則，并通過最小化損失函數(shù)求解和評估模型

在多元線性回歸中，其損失函數(shù)定義如下：
L = ∑ i = 1 m ( y i ? f ( x i ) ) 2 L=\sum_{i=1}^m(y_i-f(x_i))^2 L=i=1∑m?(yi??f(xi?))