偏最小二乘迴歸

偏最小二乘法是一種數學優化技術，它通過最小化誤差的平方和找到一組資料的最佳函式匹配，用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小，很多其他的優化問題也可通過最小化能量或最大化熵用最小二乘形式表達。

嶺迴歸分析是一種修正的最小二乘估計法，當自變數系統中存在多重相關性時，它可以提供一個比最小二乘法更為穩定的估計，並且迴歸係數的標準差也比最小二乘估計的要小。

根據高斯馬爾科夫定理，多重相關性並不影響最小二乘估計量的無偏性和最小方差性。但是，雖然最小二乘估計量在所有線性無偏估計量中是方差最小的，但是這個方差卻不一定小，於是可以找一個有偏估計量，這個估計量雖然有微小的偏差，但它的精度卻能夠大大高於無偏的估計量。