默同學(xué)
2025-05-05 10:39可以講一下這里的知識(shí)點(diǎn)嗎，謝謝老師
所屬：FRM Part I > Quantitative Analysis 視頻位置 相關(guān)試題
來(lái)源： 視頻位置 相關(guān)試題
1個(gè)回答
黃石助教
2025-05-06 13:04
該回答已被題主采納
同學(xué)你好。這里考察的是regularization（正則化）的方法。這類方法是用于“降維”的，比方說(shuō)回歸模型中變量可能過(guò)多了，我們需要一些方法去降低模型的復(fù)雜程度、進(jìn)而規(guī)避過(guò)擬合的情形。這些方法主要有三種：
1. Ridge（嶺回歸）。在跑回歸的時(shí)候，該方法在普通最小二乘法最小化的目標(biāo)函數(shù)的基礎(chǔ)上額外引入了一項(xiàng)（見(jiàn)圖1），這一項(xiàng)的引入使得在做最小化的時(shí)候我們也會(huì)顧及到beta系數(shù)的取值，針對(duì)絕對(duì)值較高的斜率系數(shù)進(jìn)行懲罰。嶺回歸又被稱作L2正則化（因?yàn)橐氲囊豁?xiàng)中包含的都是β的平方）。L2正則化傾向于“縮小“模型的參數(shù)，使得這些參數(shù)接近（但不等于）零。λ（模型中的超參數(shù)）越大，回歸系數(shù)絕對(duì)值縮小的程度越大。
2. LASSO。LASSO最小化的目標(biāo)函數(shù)見(jiàn)圖2。與嶺回歸不同的是，LASSO引入的這一項(xiàng)采用的是絕對(duì)值形式而非平方形式。LASSO 又被稱作 L1 正則化。L1 正則化將一些不太重要的參數(shù)估計(jì)設(shè)為零。因此，LASSO 也被稱作特征選擇技術(shù)（feature selection technique），因?yàn)橐恍┎惶匾奶卣鲿?huì)被LASSO移除。λ越大，越多的回歸系數(shù)會(huì)降至零。
3. Elastic net。這個(gè)就是Ridge和LASSO的合體（也就是C選項(xiàng)說(shuō)的A hybrid of the Ridge regression and LASSO），目標(biāo)函數(shù)見(jiàn)圖3，簡(jiǎn)單了解一下有這么個(gè)方法就可以。
0
0
0
0
