金融中加入人工智能技術(shù)現(xiàn)在已經(jīng)是很常見(jiàn)的事情了，但是人工智能總有和人比起來(lái)不好的地方。
今天金程教育小編就來(lái)和大家說(shuō)一說(shuō)量化投資和機(jī)器學(xué)習(xí)大家繞不過(guò)的那些事兒。

1. 波動(dòng)率預(yù)測(cè)

1.1. 歷史波動(dòng)率概述

從2016年中旬左右開始，全球的波動(dòng)率就一直處于歷史的低位。中國(guó)波指更是非常穩(wěn)定的一路下探，從的63.79一直到了的7.95。

如此長(zhǎng)時(shí)間的低波動(dòng)率確實(shí)在中國(guó)市場(chǎng)上不常見(jiàn)。下面我們統(tǒng)計(jì)了一下中證500和滬深300指數(shù)分年度的波動(dòng)率分布情況，可以看到2017年近的波動(dòng)率確實(shí)是處在歷史位的。》》點(diǎn)擊學(xué)習(xí)量化交易策略

1.2. 文獻(xiàn)綜述
波動(dòng)率預(yù)測(cè)的方式有下列幾種；

（1）移動(dòng)平均
使用過(guò)去一段時(shí)間窗口的已實(shí)現(xiàn)波動(dòng)率作為下一期波動(dòng)率的預(yù)測(cè)值。

（2）時(shí)間序列
使用ARCH/GARCH等等模型，通過(guò)時(shí)間序列的自回歸，來(lái)預(yù)測(cè)下一期波動(dòng)率。傳統(tǒng)上認(rèn)為，波動(dòng)率具有聚集效應(yīng)，也即是，高波動(dòng)率伴隨著高波動(dòng)率，低波動(dòng)率伴隨著低波動(dòng)率。由于時(shí)間序列模型是回看近的過(guò)去一段時(shí)間的波動(dòng)率，所以時(shí)間序列分析是波動(dòng)率聚集假設(shè)的。

（3）隱含波動(dòng)率
在中國(guó)市場(chǎng)，可以基于50ETF期權(quán)依賴期權(quán)定價(jià)模型來(lái)反推隱含波動(dòng)率。

1.3. 策略簡(jiǎn)介
1.3.1. 策略摘要

本篇報(bào)告我們提出用監(jiān)督式學(xué)習(xí)對(duì)日內(nèi)波動(dòng)率進(jìn)行預(yù)測(cè)。結(jié)果表明，使用監(jiān)督式學(xué)習(xí)的預(yù)測(cè)效果超過(guò)簡(jiǎn)單移動(dòng)平均的效果。我們對(duì)日內(nèi)波動(dòng)率的預(yù)測(cè)為定義為每天240根分鐘線收盤價(jià)的標(biāo)準(zhǔn)差。

1.3.2. 策略細(xì)節(jié)
策略標(biāo)的：中證500指數(shù)

預(yù)測(cè)生成：該策略的預(yù)測(cè)目標(biāo)就是下一交易日的日內(nèi)波動(dòng)率。預(yù)測(cè)日內(nèi)波動(dòng)率有很大的意義，除了期權(quán)交易之外，大多數(shù)的中高頻CTA策略的收益也與日內(nèi)波動(dòng)率緊密相關(guān)。

考慮到波動(dòng)率的聚集效應(yīng)，我們使用過(guò)去一段時(shí)間的時(shí)間序列的日內(nèi)波動(dòng)率作為輸入變量。輸入的變量例如，過(guò)去30天的日內(nèi)波動(dòng)率的移動(dòng)平均值，過(guò)去n日的日內(nèi)波動(dòng)率值，過(guò)去n日日內(nèi)波動(dòng)率的小值等等。

1.3.3. 策略表現(xiàn)
策略預(yù)測(cè)的R方為37.13%，顯示出策略監(jiān)督式學(xué)習(xí)對(duì)未來(lái)一日日內(nèi)波動(dòng)率的預(yù)測(cè)是有一定效果的。下圖是日內(nèi)波動(dòng)率的預(yù)測(cè)值和實(shí)際值之間的比較

可以看到，除了在股災(zāi)中之外，歷史上其他時(shí)候預(yù)測(cè)都比較準(zhǔn)確。

1.3.4. 與簡(jiǎn)單移動(dòng)平均的比較
簡(jiǎn)單移動(dòng)平均MA20，也即是過(guò)去20天的移動(dòng)平均的日內(nèi)波動(dòng)率作為下期的預(yù)測(cè)值，R方是34.42%，比機(jī)器學(xué)習(xí)的預(yù)測(cè)要少3%左右。

2. 如何判斷策略失效
在以上幾篇報(bào)告中間，我們具體討論了一些策略，以及在研究一些機(jī)器學(xué)習(xí)策略時(shí)候常見(jiàn)的錯(cuò)誤，但是我們迄今沒(méi)有討論如何判斷機(jī)器學(xué)習(xí)策略的失效。在本文中我們并不將具體給出策略失效的解決方案，但是將就這個(gè)問(wèn)題給出一些討論。

2.1. 機(jī)器學(xué)習(xí)對(duì)數(shù)據(jù)的依賴更強(qiáng)
機(jī)器學(xué)習(xí)相對(duì)于傳統(tǒng)策略對(duì)數(shù)據(jù)依賴性更強(qiáng)，所以對(duì)未來(lái)市場(chǎng)結(jié)構(gòu)的變化會(huì)更為敏感。

量化的本質(zhì)是依賴于“已有之事后必再有,已行之事后必再行,日光之下并無(wú)新事”，而對(duì)于未來(lái)市場(chǎng)結(jié)構(gòu)的變化通常是無(wú)能為力的。例如如果一個(gè)Alpha策略的樣本是從2009年到2016年，在不做市值中性的情況下，那么回測(cè)下來(lái)大概率小市值因子給的權(quán)重會(huì)很大。換句話說(shuō)，因?yàn)闅v史樣本中幾乎都是小市值相對(duì)于大市值占優(yōu)（除了2014年末這段短暫的時(shí)間內(nèi)大市值占優(yōu)），所以模型對(duì)于2017年的大市值占優(yōu)是沒(méi)有準(zhǔn)備的，這直接導(dǎo)致了大部分Alpha策略在2017年大規(guī)模回撤。

盡管所有量化策略都對(duì)未來(lái)市場(chǎng)結(jié)構(gòu)的變化無(wú)能為力，傳統(tǒng)的量化策略在面對(duì)未來(lái)市場(chǎng)結(jié)構(gòu)的變化還是會(huì)有一些天生的優(yōu)勢(shì)。因?yàn)閭鹘y(tǒng)的量化策略往往是從假設(shè)出發(fā)的，這些假設(shè)可能是從自己經(jīng)驗(yàn)而來(lái)，也可能是從學(xué)術(shù)文獻(xiàn)上來(lái)的，數(shù)據(jù)只是用來(lái)驗(yàn)證這些假設(shè)是否正確的。所以當(dāng)傳統(tǒng)量化策略回撤的時(shí)候，策略研究人員大致能明白是自己的哪一條假設(shè)出錯(cuò)了。

而在機(jī)器學(xué)習(xí)的世界中，事情卻不是這個(gè)樣子的，因?yàn)闄C(jī)器學(xué)習(xí)完全是數(shù)據(jù)驅(qū)動(dòng)的（data driven）。事先我們對(duì)問(wèn)題并沒(méi)有任何假設(shè)，我們不知道自變量和因變量之間有沒(méi)有關(guān)系，如果有，我們也并不知道它們之間的關(guān)系是否是線性的，我們也并不一定能假設(shè)自變量與因變量的統(tǒng)計(jì)分布。因此，總而言之，我們所得出的所有結(jié)論都是機(jī)器學(xué)習(xí)基于數(shù)據(jù)給我們的。在機(jī)器學(xué)習(xí)的世界中，人的作用被縮小，而數(shù)據(jù)的作用被放大。所以，一旦新的數(shù)據(jù)與原來(lái)的數(shù)據(jù)發(fā)生系統(tǒng)性的不同，整個(gè)模型以及模型給出的結(jié)論都會(huì)出現(xiàn)系統(tǒng)性的偏差。因此，機(jī)器學(xué)習(xí)模型相對(duì)于傳統(tǒng)的量化模型更容易受到市場(chǎng)變化的不利影響。

2.2. 判斷機(jī)器學(xué)習(xí)策略失效的一些想法
下面提出一類方法。簡(jiǎn)而言之就是，基于過(guò)去一段足夠長(zhǎng)的時(shí)間n，計(jì)算預(yù)測(cè)值和實(shí)際值的IC，并判斷這個(gè)IC是否顯著。具體舉例，如果模型的預(yù)測(cè)目標(biāo)是T日到T+1日的收益，檢測(cè)天數(shù)是過(guò)去100天，那么我們顯然就可以得到這100個(gè)T日到T+1日的收益的預(yù)測(cè)值和實(shí)際值，然后根據(jù)計(jì)算出IC，y代表實(shí)際值， 代表預(yù)測(cè)值，兩者都是長(zhǎng)度為100的向量。

，我們通過(guò)

來(lái)計(jì)算出t值，并且與進(jìn)行比較，看是否顯著。這里,n=100。如果t值并不顯著，那么策略可能已經(jīng)失效。

對(duì)n的選擇非常關(guān)鍵，對(duì)于一天幾百筆的高頻策略，可能一天就足夠達(dá)到統(tǒng)計(jì)顯著需要的量了。但對(duì)于低頻策略，可能需要天數(shù)數(shù)目非常大。

以波動(dòng)率為例子，我們可以得到如下滾動(dòng)的IC值，這里選取n=20

可以看到，在2016年7月到8月之間，有一次明顯的失效，t值小于-3，達(dá)到統(tǒng)計(jì)顯著水平。
3. 雜談
3.1. 計(jì)算落地相關(guān)：我們需要什么級(jí)別的計(jì)算力？
Apache Spark和Hadoop是兩個(gè)主流的大數(shù)據(jù)框架。大多數(shù)的科技公司都會(huì)或多或少用到這些框架，如今一些對(duì)沖基金也在考慮使用ApacheSpark或者Hadoop。

上圖是Hadoop里的服務(wù)器角色。Hadoop主要的任務(wù)部署分為3個(gè)部分，分別是：Client機(jī)器，主節(jié)點(diǎn)和從節(jié)點(diǎn)。主節(jié)點(diǎn)主要負(fù)責(zé)Hadoop兩個(gè)關(guān)鍵功能模塊HDFS、Map Reduce的監(jiān)督（HDFS是Hadoop Distributed File System的簡(jiǎn)稱，Map Reduce是一種算法）。當(dāng)Job Tracker使用Map Reduce進(jìn)行監(jiān)控和調(diào)度數(shù)據(jù)的并行處理時(shí)，名稱節(jié)點(diǎn)則負(fù)責(zé)HDFS監(jiān)視和調(diào)度。從節(jié)點(diǎn)負(fù)責(zé)了機(jī)器運(yùn)行的絕大部分，擔(dān)當(dāng)所有數(shù)據(jù)儲(chǔ)存和指令計(jì)算的苦差。每個(gè)從節(jié)點(diǎn)既扮演者數(shù)據(jù)節(jié)點(diǎn)的角色又沖當(dāng)與他們主節(jié)點(diǎn)通信的守護(hù)進(jìn)程。守護(hù)進(jìn)程隸屬于Job Tracker，數(shù)據(jù)節(jié)點(diǎn)歸屬于名稱節(jié)點(diǎn)。

Client機(jī)器集合了Hadoop上所有的集群設(shè)置，但既不包括主節(jié)點(diǎn)也不包括從節(jié)點(diǎn)。取而代之的是客戶端機(jī)器的作用是把數(shù)據(jù)加載到集群中，遞交給Map Reduce數(shù)據(jù)處理工作的描述，并在工作結(jié)束后取回或者查看結(jié)果。在小的集群中可能會(huì)面對(duì)單物理設(shè)備處理多任務(wù)，比如同時(shí)Job Tracker和名稱節(jié)點(diǎn)。作為大集群的中間件，一般情況下都是用獨(dú)立的服務(wù)器去處理單個(gè)任務(wù)。