圓同學(xué)
2022-07-11 20:58關(guān)于 remark2中的兩個(gè)error，說(shuō)是在調(diào)整優(yōu)化階段……模型性能評(píng)估階段是三種方法，第1個(gè)是error analysis，第2個(gè)是 Auc的曲線面積，第3個(gè)是rmse…… 其實(shí)仔細(xì)想想，上面兩個(gè)階段都是對(duì)模型的一種評(píng)估吧？實(shí)在看不出來(lái)有什么區(qū)別？？請(qǐng)指教。截屏中提到的兩個(gè)error為什么不能用來(lái)評(píng)估模型性能評(píng)價(jià)呢？不是也挺好嗎？
所屬：CFA Level II > Quantitative Methods 視頻位置 相關(guān)試題
來(lái)源： 視頻位置 相關(guān)試題
1個(gè)回答
Essie助教
2022-07-12 17:39
該回答已被題主采納
你好，error analysis主要是指通過(guò)混淆矩陣去計(jì)算查準(zhǔn)率、查全率、準(zhǔn)確率，F(xiàn)1 score這些指標(biāo)對(duì)模型進(jìn)行評(píng)估；AUC主要看的是曲線的面積，橫縱軸是TPR和FPR。雖然TPR和查全率的計(jì)算方式是一樣的，但是FPR不同于混淆矩陣上述4個(gè)指標(biāo)的任何一種。所以雖然這兩種方法都是和TP，F(xiàn)P這些相關(guān)，但是最終指標(biāo)的形式有些不同。
另外bias error和variance error分別指由于模型擬合不佳而導(dǎo)致的樣本內(nèi)誤差，以及由于過(guò)度擬合的模型不能很好地泛化而導(dǎo)致的樣本外誤差。variance error引入了樣本外數(shù)據(jù)，只有在tuning調(diào)優(yōu)模型的時(shí)候才會(huì)使用樣本外數(shù)據(jù)。在評(píng)估模型性能時(shí)主要關(guān)注的是樣本內(nèi)數(shù)據(jù)所產(chǎn)生的誤差，所以這兩個(gè)error不包括在模型性能評(píng)估階段。
-
追問(wèn)
tuning模型優(yōu)化是在哪個(gè)步驟中，聽(tīng)了大數(shù)據(jù)一節(jié)中的5步法里，貌似沒(méi)見(jiàn)到他的影子呀。這5步是在大數(shù)據(jù)一節(jié)中，而tuning是在機(jī)器學(xué)習(xí)一節(jié)中吧？？怎么連接起來(lái)？？不然這個(gè)知識(shí)點(diǎn)，會(huì)混淆不清。
-
追答
tuning包含在Model training中，見(jiàn)下圖，這部分是在R5中講的，講義在結(jié)構(gòu)化數(shù)據(jù)——特征工程后面幾頁(yè)。
0
0
1
1
