機器學習與智能金融第一章

融合創(chuàng)造價值導論本講主要內(nèi)容基礎概念的理解一人工智能的歷史與發(fā)展二中國人工智能的發(fā)展三人工智能與金融的結合：智能金融場景與價值四課程實踐環(huán)境五機器學習的概念人工智能的概念模式識別的概念概念辨析1.1

概念辨析對于某類任務T和性能度量P，如果一個計算機程序在T上以P衡量的性能隨著經(jīng)驗E而自我完善，那么我們稱這個計算機程序在從經(jīng)驗E中學習。<P,T,E>機器學習的含義與理解人工智能（Artificial

Intelligence）：它是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統(tǒng)的一門新的技術科學。1956年由約翰.麥卡錫首次提出，當時的定義為“制造智能機器的科學與工程”。人工智能目的就是讓機器能夠像人一樣思考，讓機器擁有智能。Artificialintelligence(AI)istheabilityofthemachineorprogramtothink,learn,andmakedecisionsfromsimulatinghumanbehaviorand

experience.人工智能的含義與理解模式識別是人類的一項基本智能。模式識別以圖像處理與計算機視覺、語音語言信息處理、腦網(wǎng)絡組、類腦智能等為主要研究方向，研究人類模式識別的機理以及有效的計算方法。所謂模式識別的問題就是用計算的方法根據(jù)樣本的特征將樣本劃分到一定的類別中去。模式識別的含義與理解人工智能是制造“智能”的“機器”。模式識別的目的是能夠最大程度實現(xiàn)“人類智能”中的“模式識別”，把對應“事務”劃分到特定“分類中”，目前，它使用的主要手段是機器學習。機器學習是程序實現(xiàn)人類智能中的學習能力，借助經(jīng)驗（數(shù)據(jù)）不斷提升自己的“性能”。010203總結數(shù)據(jù)集、Data

set訓練樣本（trainingdata），

測試樣本（testing

data），驗證樣本（verifyingdata）樣本（sample）屬性/特征（attributes,feature），標記（label）樣本空間、屬性空間、標記空間任務（task）分類（classification），回歸（regression）評價，預測評估泛化，穩(wěn)健，效率1.2

機器學習基本概念課后練習：查找、學習并理解如下概念精度，accuracy誤差，（模型輸出與樣本輸出差距），error訓練誤差，trainingerror，empiricalerror泛化誤差，generalizationerror測試誤差，testing

error過擬合，overfitting欠擬合，underfitting查準率，precision查全率

召回率，recall1.3

人工智能路徑和分類給出了人工智能的定義：“人工智能是利用數(shù)字計算機或者由數(shù)字計算機控制的機器，模擬、延伸和擴展人類的智能，感知環(huán)境、獲取知識并使用知識獲得最佳結果的理論、方法、技術和應用系統(tǒng)?！币粫袑⒁延械娜斯ぶ悄芊譃榱怂念悾合袢艘粯铀伎嫉南到y(tǒng)、像人一樣行動的系統(tǒng)、理性思考的系統(tǒng)、理性行動的系統(tǒng)；在達特矛斯會議（DARTMOUTHCONFERENCE）上提出：人工智能就是要讓機器的行為看起來就像是人所表現(xiàn)出的智能行為一樣；1956年，人工智能先驅約翰·麥卡錫（JOHNMCCARTHY）我國《人工智能標準化白皮書（2018年）》著名的人工智能教材《人工智能——一種現(xiàn)代方法》本課程定義英文縮寫為AI，它是將智能以及依靠人的能力實現(xiàn)智能作為研究對象，是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統(tǒng)等的一門學科。人工智能（ArtificialIntelligence）總的說來人工智能研究的一個主要目標是使機器能夠勝任一些通常需要人類智能才能完成的復雜工作。當然，在不同的時代不同的人對這種“復雜工作”的理解是不同的。弱人工智能 強人工智能 超人工智能不同實現(xiàn)途徑（派系）結構主義符號主義（Symbolism）統(tǒng)計主義行為主義仿真主義人工智能方法的分類數(shù)據(jù)類型視角數(shù)據(jù)標注視角方法構建邏輯的視角方法可解釋性視角本講主要內(nèi)容基礎概念的理解一人工智能的歷史與發(fā)展二中國人工智能的發(fā)展三人工智能與金融的結合：智能金融場景與價值四課程實踐環(huán)境五故事：古代西周的偶人《列子·湯問》偃師以假亂真、能歌善舞、千變?nèi)f化、善挑逗人偃師造人唯難于心唐代機器僧

楊務廉

杭州工匠《朝野僉載》唐張鷟故事：近代EnigmaBombe1950年，阿蘭·圖靈在那篇名垂青史的論文《計算機械與智力》的開篇說：“我建議大家考慮這個問題：‘機器能思考嗎？’”故事：現(xiàn)代，誕生與狂熱，達特茅斯會議1958年，H.

A.

Simon，Allen

Newell：“十年之內(nèi)，數(shù)字計算機將成為國際象棋世界冠軍。”、“十年之內(nèi)，數(shù)字計算機將發(fā)現(xiàn)并證明一個重要的數(shù)學定理。”1965年，H.

A.

Simon：“二十年內(nèi)，機器將能完成人能做到的一切工作?！?967年，Marvin

Minsky：“一代之內(nèi)……創(chuàng)造‘人工智能’的問題將獲得實質上的解決?！?970年，Marvin

Minsky：“在三到八年的時間里我們將得到一臺具有人類平均智能的機器。”1956，新罕布什爾州，達特茅斯（Dartmouth）會議“首次”提出人工智能發(fā)展說明：三者關系人工智能機器學習深度學習本講主要內(nèi)容基礎概念的理解一人工智能的歷史與發(fā)展二中國人工智能的發(fā)展三人工智能與金融的結合：智能金融場景與價值四課程實踐環(huán)境五起步1978年3月1980年20世紀50年代-70年代全國科學大會在北京召開。吳文俊院士提出的利用機器證明與發(fā)現(xiàn)幾何定理的新方法——幾何定理機器證明也獲得全國科學大會重大科技成果獎。中國電子學會計算機學會（中國計算機學會的前身）在吉林大學組織召開“計算機科學暑期討論會”，王湘浩院士負責組織，在此次會議中，人工智能成為主要討論方向。全體會議中報告的4名演講者分別是吳文俊、陸汝鈐、吳允增、張鳴華。起步1981年9月1982年1980年王湘浩在中國計算機學會下建立了人工智能學組并擔任組長。中國人工智能學會(CAAI)在長沙成立，秦元勛當選第一任理事長。中國人工智能學會刊物《人工智能學報》在長沙創(chuàng)刊，成為國內(nèi)首份人工智能學術刊物。發(fā)展1985年1986年起1984年下半年全國智能計算機及其系統(tǒng)學術討論會，重點研討人工智能相關主題。召開了全國首屆第五代計算機學術研討會。把智能計算機系統(tǒng)、智能機器人和智能信息處理等重大項目列入國家高技術研究發(fā)展計劃，即著名的863計劃。1987年新的人工智能期刊《模式識別與人工智能》雜志創(chuàng)刊。1989年我國首次召開了中國人工智能聯(lián)合會議(CJCAI)。發(fā)展2009年2022年9月13日2006年8月中國人工智能學會聯(lián)合其他學會和有關部門，在北京舉辦了“慶祝人工智能學科誕生50周年”大型慶?；顒?。中國人工智能學會牽頭組織，向國家學位委員會和國家教育部提出設置“智能科學與技術”學位授權一級學科的建議。教育部發(fā)布《研究生教育學科專業(yè)目錄（2022年）》，智能科學與技術正式成為交叉學科門類中的一級學科。人工智能最高獎2011年1月6日，由中國人工智能學會發(fā)起，以吳文俊先生命名、依托社會力量捐資的“吳文俊人工智能科學技術獎”

經(jīng)國家科學技術部核準、國家科學技術獎勵工作辦公室（國科獎社證字第0218號）公告正式設立。被譽為“中國智能科學技術最高獎”，代表人工智能領域的最高榮譽象征。政策中共中央政治局就人工智能發(fā)展現(xiàn)狀和趨勢舉行第九次集體學習。中共中央總書記習近平在主持學習時強調(diào)，人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅動力量。為搶抓人工智能發(fā)展的重大戰(zhàn)略機遇，構筑我國人工智能發(fā)展的先發(fā)優(yōu)勢，加快建設創(chuàng)新型國家和世界科技強國，國務院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》。2017年7月2018年10月31日下午位置與對比本講主要內(nèi)容基礎概念的理解一人工智能的歷史與發(fā)展二中國人工智能的發(fā)展三人工智能與金融的結合：智能金融場景與價值四課程實踐環(huán)境五技術視角人工智能技術機器學習計算機視覺/圖像智能自然語言處理(NLP)/自然語言理解(NLU)知識圖譜與圖數(shù)據(jù)分析語音與時間序列因果智能強化學習AIGC等例子：AIGC例子：AIGC例子：AIGC例子：AIGC銀行業(yè)預測性分析業(yè)務自然語言理解計算機視覺保險業(yè)智能核保理賠與反欺詐智能定損智能客服精準定價信托業(yè)智能金融有助于加快形成個人畫像、企業(yè)畫像和產(chǎn)業(yè)畫像的數(shù)據(jù)基礎和建模能力，推動依托“數(shù)據(jù)+科技”的大類資產(chǎn)選擇、投融資、前中后臺的智能化管理能力建設。智能金融有助于精準營銷、精準人群營銷和服務生態(tài)圈建設，加快推動資金端由產(chǎn)品銷售向財富管理轉型。資金端的財富管理智能化資產(chǎn)端覆蓋范圍證券業(yè)智能財報核驗、信息提取智能文檔審核、驗證以及比對運營管理自動化智能投研基金業(yè)細分用戶和預測模型估值業(yè)務流水化預警金融突發(fā)事件分析新聞與輿情案例與場景：投資分類人類量化投資程序人工智能平均收益8.9%7.6%16.3%風險控制能力8510051極端風險次數(shù)6/1003最大損失-13.7%-7.2%-18.1%偏好周期短期-中期短期中期-長期大局觀8060100案例與場景：欺詐識別案例與場景：財務與管理團隊案例案例與場景：健康及金融風險偏好領域：

醫(yī)學，健康，運動等例如：

精準推測客戶的需求智能金融價值智能金融是金融科技的一個階段，而金融科技是金融業(yè)的知識經(jīng)濟，其價值路徑以及價值作用方式與知識經(jīng)濟相同。智能金融所產(chǎn)生的價值體現(xiàn)在數(shù)據(jù)的作用、信用的作用以及風險的作用上，通過這些要素的智能化，智能金融將在宏觀、中觀以及微觀層面產(chǎn)生價值。按照知識經(jīng)濟框架根據(jù)定義提升金融行業(yè)效率加速普惠金融發(fā)展促進金融體系健康提升個人金融服務幸福感助力監(jiān)管本講主要內(nèi)容基礎概念的理解一人工智能的歷史與發(fā)展二中國人工智能的發(fā)展三人工智能與金融的結合：智能金融場景與價值四課程實踐環(huán)境五實踐建議環(huán)境案例及示范代碼的編程語言：Python常用的機器學習庫：Scikit-learn（sk-learn)常用的人工智能庫：Tensorflow(keras)

或

pyTorch使用的算力：CPU或者GPU使用的數(shù)據(jù)說明：框架與標準化說明：移動端深度學習推理框架TF-Lite(Google)TensorRT（Nvidia)CoreML(Apple)OpenVINO（Intel)MNN（Alibaba)NCNN（Tencent)THANKS謝 謝 聆 聽機器學習與智能金融第二講

經(jīng)典而永恒線性方法主講人：張欣然學校：中央財經(jīng)大學回歸類分析方法及其運用場景概述一本講內(nèi)容回歸模型的選擇、正則化與降維二多元定性響應變量的回歸模型三回歸類分析方法在金融領域的運用四回歸類分析方法及其運用場景概述01回歸分析（Regression

Analysis）：確定兩種或兩種以上變量間相互依賴的定量關系的一種統(tǒng)計分析方法?；貧w模型的一般形式：回歸分析的定義y??=??????,

????;

?? (1)腳標??∈??={1,2,…,??}表示第i個個體或觀測響應變量y??特征變量????′=(1,????,2,…,????,??)參數(shù)向量??=(??1,??2,…,????)誤差項????回歸模型依賴于函數(shù)的形式??(?)和參數(shù)??的大小回歸分析的分類分類標準類別特征變量的個數(shù)一元回歸模型、多元回歸模型特征變量與響應變量的關系線性回歸模型、非線性回歸模型回歸方程的個數(shù)單方程回歸模型、聯(lián)立方程回歸模型數(shù)據(jù)類型的特點橫截面模型、時間序列模型、面板模型多元線性回歸模型（Multiple

Linear

Regression

Model）多元線性回歸模型回顧????=??1????1+??2????2+?+??????????+????,(??=1,…

,

??) (2)??=(??1,??2,…,????)′為待估計的未知參數(shù)，回歸系數(shù)如果方程(2)中有常數(shù)項(即截距項)，則通常令第

1

個變量恒等于

1，即????1=1,

???該回歸模型也可表示為矩陣形式（更常用）′ ′其中??=(??1,??2,…,????)′，X=(??1′,??2′,…,???? )′,

??=(??1,??2,…,????)Y=X??

+?? (3)多元線性回歸模型回顧????=1最小二乘法（OLS）估計多元線性回歸的參數(shù)向量??OLS原理：找到使得模型殘差平方和最小的參數(shù)向量???????????????

=

??????

??????

?

????

?

??′??

2

(4)估計量的性質小樣本：在經(jīng)典線性回歸假設下，

?????????具有無偏性和有效性大樣本：在大數(shù)定律和中心極限定理保證下，

?????????還具有一致性和漸進正態(tài)性擬合優(yōu)度??2

或者調(diào)整??2為比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，還可使用赤池信息準則（AIC）、貝葉斯信息準則（BIC）和施瓦茨準則（SC）多元線性回歸模型回顧最小二乘法（OLS）估計多元線性回歸的參數(shù)向量??一元線性回歸殘差：e??

≡

????

????

?

???????殘差平方和：σ?? ??2

=

σ?? (????????

?

???????)2i=1 ?? ??=1最小二乘法就是選擇???，

???，使得殘差平方和最小化???,???i=1????min?

??2=???=1??(????????

????????)2多元線性回歸模型回顧最小二乘法（OLS）估計多元線性回歸的參數(shù)向量??二元線性回歸最小化問題的一階條件：如果(??′

??)可逆（數(shù)據(jù)矩陣X滿列秩,rank(X)=p），則：???

≡??′??

?????′???????=1????min

? ??2=??′??=(????????)′(????????)=??′???2??′?????+???′??′????????(??′???2??′?????+???′??′?????)????=?2??′??+2??′?????=

0??′?????

=??′??多元線性回歸模型回顧最小二乘法（OLS）估計多元線性回歸的參數(shù)向量??如果數(shù)據(jù)矩陣X不滿列秩，則存在嚴格多重共線性

，????????(??)≤??<??

（矩陣X的秩小于或等于其行數(shù)n），此時不存在(??′

??)?1，OLS沒有唯一解OLS一般不適用高維數(shù)據(jù)，其變量個數(shù)大于樣本容量，即??>??。須進行“正則化”處理，即在損失函數(shù)中加入“懲罰項”，進行“懲罰回歸”回歸分析：計量經(jīng)濟學

vs 機器學習領域計量經(jīng)濟學重視統(tǒng)計推斷（包括參數(shù)的點估計、區(qū)間估計以及假設檢驗）尤其重視如何借助回歸模型推斷變量之間的因果關系機器學習更重視模型的預測準確率（accuracy）和解釋力（interpretation）預測準確率指在訓練集上得到的回歸模型在測試集上的預測表現(xiàn)模型解釋力指回歸系數(shù)能否直觀簡潔描繪特征變量對響應變量的影響回歸分析在金融領域的應用場景實現(xiàn)對不同類型客戶的精準營銷用戶畫像與精準營銷多分類Logistic回歸模型量化投資，預測未來資產(chǎn)價格和收益率價格與收益率預測采用系數(shù)壓縮、變量篩選等方法對回歸模型改進信用風險，市場風險、操作風險、流動性風險、管理風險等風險評估與識別二分類Logistic

/

Probit回歸模型，Cox比例風險回歸模型回歸模型的選擇、正則化與降維02選擇回歸模型的動機1、多重共線性完全多重共線性導致OLS方法的失效，無法得到唯一的參數(shù)估計不完全的多重共線性雖然不會對參數(shù)估計的無偏性產(chǎn)生影響，但其有效性會大大減弱，即參數(shù)估計的方差會變得很大選擇回歸模型的動機1、多重共線性檢驗多重共線性簡單方法是看特征變量的相關系數(shù)矩陣：如果該矩陣中有絕對值較大的數(shù)字，說明該對特征變量之間存在較強的線性相關性更嚴格的檢測方法為方差膨脹因子（variance

inflation

factor）檢驗，也稱VIF檢驗。依照經(jīng)驗而言，當VIF值超過5或者10時就表明模型有比較嚴重的共線性問題當模型具有這類問題時，我們有必要對特征變量進行篩選和剔除選擇回歸模型的動機2、過擬合問題過擬合：模型對訓練集的擬合程度比對真實總體的擬合程度更好，導致該模型在預測集上表現(xiàn)較差選擇回歸模型的動機2、過擬合問題過擬合體現(xiàn)在兩個方面：引入過多無關特征變量引入過多特征變量的高次項（因而模型高度非線性化）因此，為了避免過擬合問題所導致的預測能力降低，模型形式的設定（線性/非線性）和特征變量的選擇就顯得尤其重要選擇回歸模型的動機尤其是當特征變量的個數(shù)大于觀測數(shù)時（p>n），回歸分析將得不到唯一的參數(shù)估計即使p<n時，特征變量具有過高的維數(shù)也會導致多重共線性與過擬合問題的出現(xiàn)，進而大大削弱回歸系數(shù)的解釋力與模型的預測能力3、維數(shù)災難交叉檢驗法為了解決上述問題帶來的困擾，必須對回歸模型進行選擇或約束（也即對特征變量進行選擇或約束），然后在不同模型之間進行比較，進而選出最優(yōu)的模型。雖然這些指標均可用于最優(yōu)模型的選擇，但它們都對訓練集和預測集的變化比較敏感。一旦換一組訓練集樣本，可能會得到完全不同的模型調(diào)整R2、AIC準則、BIC準則等以及ROC曲線、AUC指標等，還有模型在預測集上的均方誤差（即Mean-Square

Error，MSE）模型評價指標問題交叉檢驗法k折交叉檢驗法（k-fold

cross-validation，簡記CV）選擇最優(yōu)模型對訓練集進行（同一）回歸模型的擬合，然后用該模型對測試集進行預測，并計算測試集上的均方誤差。將總觀測集隨機地分為k個樣本數(shù)量基本一致的折（fold），找其中一折作為預測集，剩下的作為訓練集。第一步第二步選擇另一折作為測試集，重復第一步和第二步，直到所有折都曾作過測試集（即重復k次）。第三步交叉檢驗法k折交叉檢驗法（k-fold

cross-validation，簡記CV）選擇最優(yōu)模型k折交叉檢驗法的平均均方誤差：???? ??=1???? =1

σ??????????(20)當折數(shù)k等于觀測樣本總數(shù)量n時，為留一交叉檢驗法（leave-one-out CV）在如何選擇折數(shù)k的問題上，需要考慮“偏差—方差”的權衡。一般而言，留一交叉檢驗法的方差要比k折交叉檢驗法（k<N）的方差更大。從經(jīng)驗上講，選擇k=5或是k=10比較合適的（N>>10）交叉檢驗法k折交叉檢驗法（k-fold

cross-validation，簡記CV）選擇最優(yōu)模型對不同回歸模型進行交叉檢驗后，我們會得到關于不同模型的CV值，這些值可以構成測試誤差估計值曲線例子：假設現(xiàn)在我們考慮回歸模型中特征變量個數(shù)的選擇問題（也即“不同回歸模型”是指“包含特征變量數(shù)不同的回歸模型”）方法1：子集選擇的回歸模型回歸模型選擇中一個直觀的想法是對特征變量的集合進行篩選，篩選出合適的特征變量子集來構建回歸模型。這類模型統(tǒng)稱為子集選擇的回歸模型（subsetselectionregression

model）最優(yōu)子集選擇模型向前逐步選擇模型向后逐步選擇模型方法1：子集選擇的回歸模型① 這種方法簡單直觀，但計算效率低需檢索模型數(shù)量隨特征變量個數(shù)的增加而迅速增加② 該方法也只適用于樣本量N>K的情況一旦特征變量個數(shù)超過樣本量，方法失效1、最優(yōu)子集選擇模型最優(yōu)子集選擇模型是對個特征變量的所有可能組合分別進行回歸擬合，其算法步驟如下表：這種方法需要檢索的回歸模型的總個數(shù)為：方法1：子集選擇的回歸模型優(yōu)勢在于計算量要遠小于最優(yōu)子集選擇模型② 但是仍需要保證特征變量個數(shù)小于樣本量（即N>K），否則模型將無法進行參數(shù)估計2、向后逐步選擇模型原理：以包含全部特征變量的回歸模型（又稱全模型????）作為起點，逐次疊代，每次都剔除一個對模型結果最不利的變量，最后得到最優(yōu)回歸模型。其算法步驟見下表：① 這種方法需要檢索的回歸模型的總個數(shù)為：方法1：子集選擇的回歸模型3、向前逐步選擇模型原理：以不包含任何特征變量的回歸模型（又稱零模型??0）作為起點，逐次往模型中添加特征變量，直至所有的變量均被納入回歸模型。其算法步驟見下表：①

這種方法需要檢索的模型個數(shù)與向后逐步選擇模型相同因此其計算量也要遠遠小于最優(yōu)子集選擇模型② 這種方法也適用于樣本量小于特征變量數(shù)的情況，即N<K，因此它要優(yōu)于向后逐步選擇模型。具體而言，當出現(xiàn)N<K的情況時，該算法會在回歸模型特征變量數(shù)等于N的時候停止，然后從備選模型中進行挑選。方法2：回歸模型的正則化嶺回歸（ridge

regression）套索回歸（lasso

regression）彈性網(wǎng)絡回歸（elastic-net

regression）另一類解決維數(shù)災難（以及可能衍生的多重共線性和過擬合問題）的回歸方法統(tǒng)稱為正則化回歸（regression

with

regularization）或者壓縮估計方法（shrinkagemethod）這類方法的原理是在回歸分析的RSS目標函數(shù)基礎上增加懲罰項方法2：回歸模型的正則化矩陣??′??幾乎不可逆，導致(??′??)?1變得很大，使得OLS的估計量?????????≡ ??′??

?1??′??的方差也很大在矩陣??′??的主對角線上都加上某個常數(shù)??>0，以緩解多重共線性，使得所有矩陣(??′??

+

????)變得“正?！睅X回歸的估計量為：嶺回歸是在OLS表達式中加入“山嶺”????而得名?????????????≡ ??′??+

?????1??′??1、嶺回歸嶺回歸（Ridge

Regression）出發(fā)點正是為了解決多重共線性方法2：回歸模型的正則化其中，約束條件還可以寫為??22≤??，

??2表示向量??的L2范數(shù)（L2-norm)??=1????????

? ???????0?

?????=1???1????,??????2(19)??.

??. ???=1???1????2≤

??(20)1、嶺回歸嶺回歸方法是將OLS無約束最優(yōu)化問題轉化為如下有約束的最優(yōu)化問題：方法2：回歸模型的正則化????=1????????

????1???????0?

???=1????,??????2+

?? ??22(21)該式的第一項是RSS，第二項是??2懲罰項（penalty

term），調(diào)節(jié)參數(shù)??被稱為壓縮參數(shù)（shrinkageparameter）由于嶺回歸的目標函數(shù)會對過大的參數(shù)施以很大的懲罰，所以嶺回歸的參數(shù)估計也被稱作壓縮估計量。1、嶺回歸如果將上述問題的拉格朗日方程列出，嶺回歸的目標函數(shù)還可以等價地寫成：方法2：回歸模型的正則化嶺回歸的幾何意義：在嶺回歸中，RSS函數(shù)的等高線會與懲罰約束所代表的球形等高線相切（大概率情況下二者不會切于坐標軸），進而使得OLS估計量收縮至嶺回歸估計量。1、嶺回歸方法2：回歸模型的正則化?????????????= ??′??

?

????

?1??′?? (22)嶺回歸估計量在小樣本下是有偏估計量（因為OLS估計量在一定假設下是無偏估計量），但是它使得參數(shù)估計的方差大大縮小。然而，由于嶺回歸中很難將參數(shù)估計嚴格限制到0，因此這個方法并不能起到篩選變量的目的。在高維問題中，嶺回歸仍不是最優(yōu)選擇。1、嶺回歸嶺回歸的參數(shù)估計性質通過目標函數(shù)的一階條件可以求解嶺回歸的參數(shù)估計滿足下式：方法2：回歸模型的正則化2、套索回歸在進行高維回歸時，希望從大量的特征變量中，篩選出真正對y有影響的少數(shù)變量。例如，從2萬個基因中，找到真正影響疾病的少數(shù)基因。希望真實模型(true

model），或數(shù)據(jù)生成過程(data

generating

process)，為稀疏模型(sparse

model)：即需要一個估計量，能挑選出那些真正有影響的（基因）變量，而使其他無影響或影響微弱的（基因）變量的回歸系數(shù)變?yōu)?。方法2：回歸模型的正則化其中，約束條件還可以寫為

??1≤??

，??

1表示向量的L1范數(shù)（L1-norm)????=1????????

????1???????0?

???=1????,??????2(23)??.

??. ???=1???1???? ≤

??(24)2、套索回歸與嶺回歸類似，套索回歸下的約束最優(yōu)化問題為：方法2：回歸模型的正則化同樣，套索回歸的目標函數(shù)還可以寫成：該式的第一項仍是RSS，第二項是L1懲罰項??????

?????=1?????????0?

???=1???1????,??????2+

?? ??1(25)2、套索回歸方法2：回歸模型的正則化套索回歸幾何意義：套索回歸中RSS的等高線與約束條件的八面體等高線很容易相切于坐標軸。這樣一來，某一個特征變量的參數(shù)就會完全變成0，進而達到篩選變量的目的。2、套索回歸方法2：回歸模型的正則化2、套索回歸由于Lasso的約束集為帶尖角的菱形（而菱形的頂點恰好在坐標軸上），故等值線較易與約束集相切于坐標軸的位置，導致

Lasso

估計量的某些回歸系數(shù)嚴格等于0，從而得到“稀疏解”(sparse

solution)Lasso的這種獨特性質，使得它具備“篩選變量”(variable

selection)的功能由于Lasso為“絕對值收縮”

(absolute

shrinkage)，故合稱為“最小絕對值收縮與篩選算子”

(least

absolute

shrinkage

and

selection

operator)，簡記LASSO。在英文中，Lasso一詞的原意為“套索”方法2：回歸模型的正則化2、套索回歸Lasso與嶺回歸孰優(yōu)孰劣？從預測的角度，如果真實模型（或數(shù)據(jù)生成過程）確實是稀疏的，則Lasso一般更優(yōu)。但如果真實模型并不稀疏，則嶺回歸的預測效果可能優(yōu)于

Lasso。在實踐中，

一般并不知道模型是否稀疏，

可用“交叉驗證”(cross-validation)進行選擇。從模型易于解釋(interpretability)的角度，則Lasso顯然是贏家，因為嶺回歸一般只是收縮回歸系數(shù)，并不具備變量篩選的功能方法2：回歸模型的正則化′min

??

?

???? ??

?

???? +

??1

??

1

+

??2

????22其中，??1≥

0與??2

≥

0都是調(diào)節(jié)參數(shù)3、彈性網(wǎng)絡回歸Lasso雖然具有篩選變量的功能，但此功能并不完美幾個變量高度相關，Lasso可能隨意選擇其中一個彈性網(wǎng)(Elastic

Net)估計量將Lasso與嶺回歸相結合，同時包含??1與??2懲罰項方法2：回歸模型的正則化??′min

??

?

???? ??

?

???? +

??[??

??

1

+ 1

?

?? ??22]其中，??≥0與0≤??≤1為調(diào)節(jié)參數(shù)由于調(diào)節(jié)參數(shù)??的取值局限于區(qū)間[0，1]，故便于通過交叉驗證選擇其最優(yōu)值如果??=0，則彈性網(wǎng)退化為嶺回歸如果??=1，則彈性網(wǎng)退化為Lasso如果0<??<1，則彈性網(wǎng)為嶺回歸與Lasso之間折衷3、彈性網(wǎng)絡回歸由于??1與????的取值范圍均為無窮，不便于使用交叉驗證選擇其最優(yōu)值。定義??≡??1+??2，??≡??1/??，可以將損失函數(shù)寫為：方法2：回歸模型的正則化′min??

?

???? ???

??????2??.

??.

?? ??

1

+ 1

?

?? ?? 2≤

??其中，??≥0為調(diào)節(jié)參數(shù)仍以二元回歸為例，展示幾何解釋

??=(??1，??2)′則彈性網(wǎng)估計量的約束集為：?? ??1 +

??2 + 1

?

?? ??2

+

??2 ≤

??1 23、彈性網(wǎng)絡回歸可等價寫為以下約束極值問題方法2：回歸模型的正則化彈性網(wǎng)(??=0.5)，Lasso及嶺回歸的約束集3、彈性網(wǎng)絡回歸方法2：回歸模型的正則化3、彈性網(wǎng)絡回歸彈性網(wǎng)的約束集介于Lasso與嶺回歸約束集之間與Lasso類似，彈性網(wǎng)的約束集也在坐標軸上有四個尖角，故彈性網(wǎng)也具有篩選變量的功能與嶺回歸的圓形約束集類似，彈性網(wǎng)的約束集在四個象限也呈弧形，故彈性網(wǎng)具有類似于嶺回歸的收縮參數(shù)之功能優(yōu)勢：當若干特征變量之間高度相關時，彈性網(wǎng)傾向于將這些高度相關的變量都選上彈性網(wǎng)可通過交叉驗證選擇最優(yōu)的調(diào)節(jié)參數(shù)??，其預測能力不差于前二者方法3：降維回歸方法在處理高維問題時，我們還可以對特征變量進行降維在回歸分析中，主成分分析的思想仍可以得到應用本小節(jié)介紹兩種常見方法：主成分回歸（principal

component

regression，簡稱PCR）與偏最小二乘法（partial

least

square，簡稱PLS）注意：雖然這兩種方法可能會在某種程度上提高模型在預測集上的預測準確度（緩解過擬合問題），但在對模型進行解釋時，維數(shù)的壓縮可能會導致每個主成分的經(jīng)濟含義變得更加模糊，模型的解釋力減弱方法3：降維回歸方法??=

?????

+

??? (28)Z是??×??的主成分矩陣???是??×1的參數(shù)向量???是??×1的回歸殘差向量與普通OLS回歸方法相比，特征向量的維數(shù)從P降到了M1、主成分回歸主成分回歸利用特征變量X的信息構造前M個主成分??=(??1，…，????)，然后以這些主成分作為新特征變量，對響應變量y進行回歸：方法3：降維回歸方法1、主成分回歸優(yōu)點：可處理樣本量N<P的情況缺點：在主成分的選擇過程中，選出“能夠最大程度代表特征變量X”的線性組合（或方向）但是，這些方向是通過無監(jiān)督學習方法得到的，響應變量y在主成分選擇時沒有起到任何作用弊端是：我們無法保證那些很好地代表特征變量X的主成分同樣可以很好地預測響應變量y方法3：降維回歸方法2、偏最小二乘回歸偏最小二乘法是一種有監(jiān)督學習方法在提取每一個成分（如????）時，都應該滿足以下兩點要求：主成分????應攜帶特征變量中盡可能多的變異信息????與響應變量????的相關系數(shù)取得最大這兩點要求說明：主成分不僅要能很好地反映特征變量的信息，而且對響應變量的解釋力還必須很強方法3：降維回歸方法2、偏最小二乘回歸當成分??1提取出來之后，分別將特征X和響應變量????關于??1作OLS回歸，并記錄兩個回歸的殘余信息。倘若回歸方程實現(xiàn)了所要求的精度，則成分提取完畢；若未實現(xiàn)精度要求，則繼續(xù)用兩組殘余信息進行新一輪的成分提取。依此類推，直到實現(xiàn)了所要求的精度為止。多元定性響應變量的回歸模型03多元定性響應變量的回歸模型在很多金融場景下，人們并不太關心響應變量的絕對數(shù)值大小，而更在乎某些定性特征在銀行或互聯(lián)網(wǎng)信貸領域，機構會通過一系列算法來評估是否為個體發(fā)放貸款（“貸款”vs“不貸款”）在投資決策中，人們往往會關心是否買入或賣出相應資產(chǎn)（

“買入”vs“不買入”

）債券評級、借款人信用評分等（響應變量取值也可大于兩種）多元線性回歸模型的缺陷假設響應變量具有二值離散的分布特征（即????=0或者????=1），那么普通的多元線性回歸模型對參數(shù)的估計將不滿足有效性當定性響應變量有m個種類時（m＞2），通常會給各個種類進行編號排序，但這些種類僅在邏輯上僅具有平行關系，并不具有順序關系。但是編號本身則天然代表了某種大小關系或順序關系，不同的排序方式會產(chǎn)生完全不同的線性模型及參數(shù)估計，給人們帶來混淆。變量的無意義排序參數(shù)估計的有效性不再滿足多元線性回歸模型的缺陷預測值的經(jīng)濟含義模糊在響應變量為二元離散取值的情況下，如果我們使用普通的多元線性回歸模型進行建模，預測的結果則可能大于1或小于0，這樣的結果與現(xiàn)實相悖。需要找到一種把預測概率控制在【0，1】區(qū)間內(nèi)的建模方法。二分類多元

Logistic

/

Probit

回歸廣義線性模型（generalized

linear

model）為使y的預測值總是介于【0，1】之間，在給定x的情況下，考慮y的兩點分布概率：P??=

1

?? =??(??,??)?????=

0

?? =1???(??,

??)g(??,??)稱為連接函數(shù)，將特征向量x與響應變量y連接起來，選擇合適的連接函數(shù)g(??，??)，可保證0

≤

???

≤

1在給定x的情況下，y的條件期望為：??

??

?? =1?????=

1

?? +0?????=

0

?? =????=1

??將模型的擬合值(預測值)理解為事件“y=1”的發(fā)生概率二分類多元

Logistic

/

Probit

回歸廣義線性模型（generalized

linear

model）隨機部分、系統(tǒng)部分（或線性部分）以及聯(lián)系函數(shù)隨機部分是指響應變量與其概率分布（例如正態(tài)分布、二項分布或逆高斯分布）假定響應變量在各個觀測之間相互獨立，其條件期望??(????|??)i系統(tǒng)部分是指以線性形式進入模型的特征變量，記為????

=

??′??聯(lián)系函數(shù)將模型的隨機部分與系統(tǒng)部分聯(lián)接起來，用函數(shù)??(?)來表示????

????

?? =

??′?? (??)??當聯(lián)系函數(shù)為??(??)=??時，廣義線性回歸模型退化為普通線性回歸模型。普通線性模型可以看作廣義線性模型的一個特例二分類多元

Logistic

/

Probit

回歸二分類響應變量的多元

Logistic/Probit

模型在利用廣義線性模型做二分類建模時，這兩類函數(shù)可以將系統(tǒng)部分給出????的轉化為在0到1之間的變量??

????

??

，使得模型可以更好地擬合二項分布的數(shù)據(jù)對于Logistic函數(shù)（即Sigmoid函數(shù)），此轉換過程可表示為：對于Probit函數(shù)（即標準正態(tài)分布的累積分布函數(shù)），則有：??????=

1

?? =??

????

?? =??????????????

???????????=1+???????

∈0,1 (6)??????=

1

?? =??

????

?? =

?????? =

?0????12????2???

2

????

∈ 0,1 (7)二分類多元

Logistic

/

Probit

回歸Logistic函數(shù)與Probit函數(shù)圖像Logistic函數(shù)和Probit

函數(shù)都是具有階躍函數(shù)（step

function）性質的非線性函數(shù)，能夠將變量約束在范圍內(nèi)二分類多元

Logistic

/

Probit

回歸經(jīng)濟學含義二分類多元Logistic回歸模型：??????????=1

????????=0

??′??=??

??（8）等式左邊稱為對數(shù)幾率（log

odds），幾率為??_??=1與??_??=0的條件概率的比值，表示給定特征變量，響應變量??_??=1的相對可能性回歸系數(shù)????的經(jīng)濟含義：在其他特征變量不變的情況下，變量??_??的一單位變化所引發(fā)的對數(shù)幾率的平均變化?；蛘呓忉尀椋涸谄渌卣髯兞坎蛔兊那闆r下，變量??_??對對數(shù)幾率的邊際影響（marginal

effect）同理，二分類多元Probit回歸模型可以寫為：???1

??

????

=

1

?? =

??′?? (9)??二分類多元

Logistic

/

Probit

回歸數(shù)值優(yōu)化算法來求得數(shù)值解，如梯度下降法和牛頓法????=1參數(shù)估計非線性最小二乘法（nonlinear

least

square）使離差平方和最小化以Probit模型為例，參數(shù)估計量：???????????????=??????

??????

? ???????

??′??2(10)極大似然估計法（maximum

likelihood

estimation）Logistic模型為例，參數(shù)估計量：?????????=????????????

?????=1???? ??′???????????1+

????′??

??(11)二分類多元

Logistic

/

Probit

回歸分類模型的模型評估特征變量的顯著性檢驗與擬合優(yōu)度評估模型單個特征變量系數(shù)的顯著性可構建統(tǒng)計量進行雙側檢驗（大樣本下）預測準確度評估機器學習中的分類問題通常用混淆矩陣來表示分類結果真實值????=

??????=

??預測值?????

=

1真陽性（TP）假陽性（FP）?????

=

0假陰性（FN）真陰性（TN）二分類多元

Logistic

/

Probit

回歸模型評估根據(jù)混淆矩陣，可計算相應指標來評估分類結果（或預測結果）的準確性預測結果的靈敏度（sensitivity）或真陽率（true

positive

rate）：??????????=????+

????(12)??????=1

?=???? ????????+????

????+????(13)預測結果的假陽率（false

positive

rate）：二分類多元

Logistic

/

Probit

回歸模型評估接收器工作特征曲線（Receiveroperatingcharacteristic

curve

，ROC曲線），該曲線越靠近坐標系的左上角則說明該模型的預測準確率越高。ROC曲線下方的面積被定義為AUC（area

under

the

curve），該面積越大，模型的預測能力越強。多類別Logistic模型如果響應變量的取值大于兩類時，可以使用多類別Logistic模型多類別的響應變量分為兩種：名義響應變量（nominal

response）和定序響應變量（ordinal

response）定序響應變量則代表了種類之間的某種大小順序名義響應變量的種類之間在邏輯上具有平行關系基線Logistic模型定序Logistic模型多類別Logistic模型??1????

????=??1,1+??2,1??2+??3,1??3+?+

????,1??????2????

????=??1,2+??2,2??2+??3,2??3+?+

????,2?????????????1?????=??1,???1+??2,???1??2+?+

????,???1????（14）基線Logistic模型名義響應變量采用基線（baseline-category）Logistic回歸模型假設響應變量的種類空間為??

=

{??1,

…

,

????}

，且服從概率空間為Π

=

{??1,

…

,

????}的多項分布，其中??1

+??2

+?

+

????=1不失一般性，選定最后一個種類????作為基準（或參照類別）回歸模型由下列???1個方程表示多類別Logistic模型????,1

?

????,2表示在其他特征變量不變的情況下，????變化一單位對關于??1和??2的對數(shù)幾率（或理解為對數(shù)相對風險）的邊際影響??2????

??1

= ??1,1?

??1,2+

?

+ ????,1?

?? ????,2

??（15）基線Logistic模型名義響應變量采用基線（baseline-category）Logistic回歸模型多類別Logistic模型定序Logistic模型定序響應變量在金融領域中十分常見穆迪投資服務有限公司通常把長期債券的風險分為Aaa、Aa、A、Baa、Ba、B、Caa、Ca和C九個等級美國P2P借貸平臺Lending

Club將借款人的信用分為A1~A5、B1~B5……和E1~E5共25個級別響應變量種類之間存在某種邏輯上的大小關系或順序關系定序Logistic模型（累積比數(shù)模型）多類別Logistic模型????=??1,1+??2??2+??3??3+?+

??????????????11?

??1??21?

??2=??1,2+??2??2+??3??3+?+

??????????????????11?

?????1=??1,???1+??2??2+??3??3+?+

????????(16)定序Logistic模型假設響變量的種類可以按某種順序排列，取值空間記為??

=

{??1,

…

,

????}且滿足??1

<

??2<?<

????定義響應變量的概率空間為Π

=

{??1,

…

,

????}

，其中???

≡

P

????

≤

???

??回歸模型由下列???1個方程表示多類別Logistic模型定序Logistic模型定序Logistic回歸模型依賴于一個很強的“均等斜率”假設在現(xiàn)實問題中，該假設不一定滿足，使用應盡量謹慎，或使用其他替代方法對定序響應變量進行建模第一類替代方法有：單獨估計每一個二分類的Logistic回歸模型；或者直接忽略響應變量的定序特征，采取基線Logistic回歸模型第二類較為前沿的替代方法有：偏比例幾率模型、連續(xù)比例模型和相鄰類別模型等回歸類分析方法在金融領域的運用04案例1：個人違約風險評估不論傳統(tǒng)商業(yè)銀行業(yè)還是現(xiàn)代互聯(lián)網(wǎng)金融企業(yè)，借款人違約行為作為一種信用風險被受關注。多年來，學界和業(yè)界都在為準確預測這種風險而努力，試圖減小其帶來的巨大損失。基于此背景，案例一希望通過借款人的某些特征變量，來預測他們的違約行為，進而對其違約風險進行評估。案例1：個人違約風險評估1、數(shù)據(jù)簡介與描述性統(tǒng)計數(shù)據(jù)來源：美國網(wǎng)絡借貸平臺Lending

Club，橫截面數(shù)據(jù)，樣本量39萬余響應變量y為借款人的違約情況（“ChargedOff”

表示已違約，“Fully

Paid”表示未違約）案例1：個人違約風險評估1、數(shù)據(jù)簡介與描述性統(tǒng)計9個特征變量變量名稱內(nèi)容單位gradeLending

Club平臺給出的信用評級（分為A~G七個等級），A表示信用極好，G表示信用極差?！猯oan_amnt借款人申請的借款數(shù)量美元term貸款期限（分為36個月和60個月）—home_ownership借款人住房情況（分為3類）—annual_inc借款人年收入美元dti債務收入比

=

月債務總額/月收入%delinq_2yrs借款人過去兩年內(nèi)的違約次數(shù)次inq_last_6mths借款人過去六個月被信用調(diào)查的次數(shù)次total_acc借款人總賬戶數(shù)個案例1：個人違約風險評估1、數(shù)據(jù)簡介與描述性統(tǒng)計已違約（觀測數(shù)：66510）未違約（觀測數(shù)：325237）均值標準差均值標準差loan_amnt15731.78374.00114397.448247.615annual_inc68735.3550832.3575911.3954839.61dti19.067.8817.157.75delinq_2yrs0.320.860.290.81inq_last_6mths0.911.100.761.02total_acc25.2811.6725.4211.55已違約的借款人個體往往會申請更多借款具有更低的年收入、更高的債務收入比他們兩年內(nèi)違約的次數(shù)要比未違約的借款人更多六個月內(nèi)接受信用調(diào)查的次數(shù)也要更多案例1：個人違約風險評估1、數(shù)據(jù)簡介與描述性統(tǒng)計信用評級指標分組分布圖（左：已違約樣本；右：未違約樣本）案例1：個人違約風險評估變量名稱模型1：Logistic模型2：Probitdti-0.0164***-0.0095***(0.001)(0.000)delinq_2yrs-0.0278***-0.0159***(0.006)(0.003)inq_last_6mths-0.0652***-0.037***(0.005)(0.003)total_acc0.0016***0.001***(0.000)(0.000)偽R20.077200.07699對數(shù)似然值-131570-1316002、基于訓練集的回歸模型結果由于本案例中的響應變量為定性二分類變量，首先應考慮采用二分類多元

Logistic/

Probit

回歸模型進行建模訓練該模型中，已違約樣本的響應變量為0未違約樣本的響應變量為1因此從回歸結果中可以看出負債收入比越高兩年內(nèi)違約次數(shù)越多六個月內(nèi)接受信用調(diào)查越多賬戶數(shù)量越少的個體其違約的可能性越大案例1：個人違約風險評估3、樣本外預測能力評估與樣本分類非平衡問題ROC曲線幾乎緊貼45度線，說明之前構造的Logistic回歸模型并不具有很好的預測能力現(xiàn)這種情況的原因主要在于響應變量具有非平衡的分類。描述性統(tǒng)計顯示，已違約樣本有6萬多個，未違約的樣本量超過了30萬即使模型把預測集上的樣本全部預測為未違約樣本其平均預測準確率也約等于30/36

=

5/6而Logistic模型本身的預測能力可能無法達到該數(shù)值案例1：個人違約風險評估3、樣本外預測能力評估與樣本分類非平衡問題為了解決這個問題，本案例將刪除部分未違約樣本，使得分類變得較為平衡調(diào)整后的樣本中，已違約和未違約的個體均大約有2700個左右再次將該樣本分為訓練集和預測集，并在訓練集上進行建模在預測集上進行樣本外預測ROC曲線如左圖（AUC=0.57）案例2：原油價格預測原油價格是影響國際宏觀經(jīng)濟運行的重要指標之一。對原油價格的預測也逐漸成為了眾多經(jīng)濟學家和政策制定者所關注的對象。案例二希望通過找到合適的特征變量，構建相應的回歸模型以預測原油價格。1.數(shù)據(jù)簡介與描述性統(tǒng)計數(shù)據(jù)：時間序列數(shù)據(jù)（月度數(shù)據(jù)），樣本量從1987年1月至2021年10月（共418個觀測樣本）響應變量為美國西德克薩斯中質原油（WTI）的時點價格，取自美國能源信息部門（EIA），時間趨勢圖如下：案例2：原油價格預測1.數(shù)據(jù)簡介與描述性統(tǒng)計案例2：原油價格預測1.數(shù)據(jù)簡介與描述性統(tǒng)計變量名稱內(nèi)容單位TBR美國三個月國庫券當期利率%LTY美國十年期政府債券當期利率%IF美國通貨膨脹率（由城市居民CPI計算得到）%EPU美國經(jīng)濟政策不確定性指數(shù)—KI全球實體經(jīng)濟活動Kilian指數(shù)—GOP美國原油生產(chǎn)增長率%GOS美國原油儲蓄增長率%GOI美國原油進口增長率%MS美國貨幣供應量M2十億美元UR美國失業(yè)率%CU美國產(chǎn)能利用率%MA移動平均策略指標布爾值MOM動量策略指標布爾值特征變量X共包含45個，其中宏觀經(jīng)濟指標33個，