知識圖譜構建實踐_第1頁
知識圖譜構建實踐_第2頁
知識圖譜構建實踐_第3頁
知識圖譜構建實踐_第4頁
知識圖譜構建實踐_第5頁
已閱讀5頁,還剩46頁未讀, 繼續(xù)免費閱讀

付費下載

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

知識圖譜構建實踐1

2概念框架

為什么要用知識圖譜

兩類用戶、三類知識

技術框架建設步驟

六步建設法

經(jīng)驗總結案例介紹

營銷實踐

金融實踐

地鐵實踐

媒資實踐

政務實踐3目錄知識圖譜 連通企業(yè)內(nèi)外部異構數(shù)據(jù) 連通大數(shù)據(jù)技術與AI技術 連通人類智能和人工智能

通過“眼睛”“耳朵”等器官,機器也擁有視

覺、聽覺、觸覺等感知

能力。能夠幫助人類完

成“看”和“聽”的簡

單工作。

釋放AI紅利,并解決AI應用場景碎片化問題;

解決知識資產(chǎn)化問題,

緩解知識難分享、難傳

承、難管理;

機器具備像人類一樣的學習和思考能力,能夠

獨自做出決策和采取行

動,能夠部分或全部替

代人類的工作

存儲和處理海量數(shù)據(jù)。能夠幫助人類完成大量

的存儲和復雜的計算。

這一步是感知和認知的

基礎。

整合業(yè)務系統(tǒng)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)數(shù)據(jù),使

得數(shù)據(jù)分析參與到生

產(chǎn)與經(jīng)營環(huán)節(jié),決策

過程有據(jù)可循。

無紙化辦公,使得進銷存、人財物數(shù)據(jù)化,

實現(xiàn)數(shù)據(jù)在線,提升

管理和決策效率數(shù)字化轉型趨勢AI技術趨勢認知智能智能化感知智能信息化網(wǎng)絡化計算智能時代背景增效?知識庫增強的檢索、推薦、可視化、規(guī)劃?可解釋性強,更貼近業(yè)務語言創(chuàng)新?標簽關聯(lián)→語義空間距離→

二階推理?反事實干預、問答降本?復用性強:員工間、問題間、領域間?穩(wěn)定性高:數(shù)據(jù)源變化數(shù)據(jù)挖掘的三種工作范式數(shù)據(jù)中臺式知識中臺式數(shù)據(jù)湖式知識圖譜服務化帶來哪些好處參考:?野中郁次郎

:《創(chuàng)造知識的企業(yè)》?國家標準委

:知識管理框架,GB/T

23703研究對象:組織內(nèi)的知識知識的不同類型知識的循環(huán)過程?事實知識

Know-what?原理知識

Know-why?決策知識

Know-how?知識官:中高層管理者?知識工程師:一線人員兩類用戶三類知識用戶與知識類型系統(tǒng)架構:KaaS(Knowledgeasa

Service)概念框架

為什么要用知識圖譜

兩類用戶、三類知識

技術框架建設步驟

六步建設法

經(jīng)驗總結案例介紹

營銷實踐

金融實踐

地鐵實踐

媒資實踐

政務實踐231目錄1.

知識建模2.知識抽取3.

知識管理4.

知識計算5.知識應用6.

知識演化HI→AIAI→OI

OI→

HI六步建設法六步建設法(1):知識建模任務體系示例類別體系示例?

原則

:?

層次化

?

網(wǎng)絡化

?

一般性

?

約束性

?

可維護?

可協(xié)作

?

方式

:?

自頂向下?

自底向上?

循環(huán)迭代六步建設法(1):知識建模六步建設法(2):知識抽取數(shù)據(jù)類型問題現(xiàn)象問題實質(zhì)技術任務結構化結構不統(tǒng)一、

質(zhì)量不穩(wěn)定規(guī)范性問題數(shù)據(jù)治理數(shù)據(jù)映射非結構化信息丟失、

信息冗余、

信息重疊詞匯歧義、結構鴻溝、

常識不完備實體識別關系抽取事件抽取隱性知識難總

結知識表示事理識別網(wǎng)絡嵌入表示時序嵌入時序點過程知識抽取技術路線圖CRF層BiLSTM層詞嵌入層B-LOCc2b2h2w4我BiLSTM-CRF模型依存層(關系)softmax標簽嵌入序列層(實體)softmaxtanh隱藏層LSTM單元……依存嵌入詞/詞性嵌入層prep

pobj清華

大學

坐落

北京。聯(lián)合學習的序列樹結構LSTM模型PHYStanhBi-TreeLSTM

B-ORG

I-ORGtanhBiLSTM詞嵌入表示層

詞語級別特征表示流水線法:DMCNN模型a

cameramandiedwhenatankfiredinBaghdad聯(lián)合學習法:JRNN模型實體識別、關系抽取、事件抽取記憶矩陣論元矩陣

觸發(fā)詞預測雙向LSTM句子嵌入句子級別特征抽取句子特征

卷積層

動態(tài)多層池化層特征表示記憶

矩陣a

cameraman

diedwhen

an

American

tank

?redin…

LSTM單元

嵌入

dropout詞嵌入實體類型嵌入

依存關系嵌入a

cameramandiedwhena

tank?redin

Baghdad本地特征抽取器特征映射3特征映射2max(C13)

max(C12)

max(C11)實體提及“cameraman”實體提及“Baghdad”北京坐落大學于事件類型

特征預測輸出上下文

特征分類輸出層輸入句子詞嵌入層LSTM單元位置

特征隱藏層特征映射1h3h4h1b3b4b1I-LOC隱藏層w3w2w1nsubjc4c1c3愛中國OO...……參數(shù)共享有監(jiān)督組件…………參數(shù)共享……

時間序列網(wǎng)絡結構節(jié)點分類鏈接預測節(jié)點相似度…

…xj (1)yjy

(k)y

(1)xjjxi八

(1)yiy

(k)y

(1)xiiit

1

t2

t

3

t

t+dt*t時刻之前的概率F

(t)t時刻之后的概率S*(t)隱性知識無監(jiān)督組件

無監(jiān)督組件[t,t+dt]時刻之間的概率*f

(t)

:=f(t|H(t))SDNE模型拉普拉斯

特征映射歷史H(t)*f

(t)dtG=(

V,E)表示學習網(wǎng)絡嵌入|V|

×k特征t=T節(jié)點j節(jié)點ij六步建設法(3):知識管理

類別屬性子類

不相交本體1person

Document本體2Agent

Documents本體融合實例/關系融合流程融合格式轉換先驗對齊對齊結果知識庫知識庫2知識庫1(a)圖嵌入模型

(b)圖匹配網(wǎng)絡知識融合Reviewer

paperReviewsubmission知識融合Author

paperReview聯(lián)合訓練模型預訓練語言模型圖向量傳播預處理識別

抽取治理結構化數(shù)據(jù)庫信息抽取

writtenBY向量空間相似度向量空間相似度數(shù)據(jù)映射化文本haswritten資源非結構參數(shù)≤

>清洗映射分類典型代表典型應用場景數(shù)據(jù)模型優(yōu)點不足關系型MySQL

,

OracleOLTP的絕大多數(shù)場景二維表格模型易理解,使用方便,易于

維護和支持SQL讀寫效率低,固定的表結構,面向日益復雜多樣的場景略顯呆板列存儲Cassandra

HBase,分布式的文件系統(tǒng)以列簇式存儲,將同一

列數(shù)據(jù)存在一起查詢速度快,可擴展性強,

更容易進行分布式擴展功能相對局限鍵值型Redis

,Oracle

BDB內(nèi)容緩存,主要用于處理大量數(shù)據(jù)的高訪問負載,也用于一些日志系統(tǒng)等Key指向Value的鍵值對,通常用Hashtable來實現(xiàn)查詢速度快數(shù)據(jù)無結構化,通常只被當做字符串或者二進制數(shù)據(jù)文檔型MongoDB

CouchDB,Web應用數(shù)據(jù)結構要求不嚴格,表結構可變,不需要預先定義表結構支持嵌套結構,支持二級索引,可對任意字段進行高效查詢查詢性能不高,而且缺乏

統(tǒng)一的查詢語法時序OpenTSDB,ClickHouse異常檢測、趨勢分析、

系統(tǒng)運維由數(shù)據(jù)源(標簽)、度

量、時間戳三部分表示寫入與查詢速度快,可擴

展性強功能相對局限圖數(shù)據(jù)庫Neo4j

InfoGrid專注于構建關系,如社

交網(wǎng)絡,推薦系統(tǒng)等。圖結構利用圖結構相關算法,如

最短路徑尋址等很多時候需要全圖計算,

結構不易實現(xiàn)分布式集群知識存儲?

異構數(shù)據(jù)庫組合:融合后的增刪改查,及效率提升方案;?

分層次的數(shù)據(jù)倉庫:大而全,存歷史、存全量;小而美,支持特定應用,實時響應、批量同步;?

知識溯源:溯源元數(shù)據(jù),血緣關系記錄與分析,可溯源哈希;六步建設法(4):知識計算

因果性

因果推斷4

相關性

1規(guī)則

模型工作流概念定義(關聯(lián)的)概念體系下的事實數(shù)倉集市語義庫

數(shù)據(jù)圖譜可視化探索配置文件

模型抽取業(yè)務指標標簽邏輯

ETL邏輯(零散的)事實互聯(lián)網(wǎng)物聯(lián)網(wǎng)L1:從人到人的非結構化知識表示:處于這一層次的知識,無論是言傳身教,還是文字

圖表,都屬于非結構化表達,需要人去閱讀、理解、

吸收,然后加以利用。L2:從人到人的半結構化知識表示:知識按照預先的約定(結構體系、符號體系)去表達,便于讀者快速檢索和理解。如:藥品說明書L3:從人到機的結構化知識表示:人類所生產(chǎn)和表達的知識能夠讓機器可讀、可執(zhí)行。

L4:從機到機的結構化知識表示:機器可以從數(shù)據(jù)源中抽取、

歸納出知識并形式化的

表達,然后在應用環(huán)節(jié)自動化執(zhí)行。知識計算的四個層次文檔管理KaaSUGC文件抽象具體檢索推薦行為日志業(yè)務數(shù)據(jù)(更新的)(先驗的)幾類常見知識的執(zhí)行規(guī)范機器學習模型工作流因果模型規(guī)則指標基于SCM的推理引擎WfMC參考實現(xiàn)PMML規(guī)范六步建設法(5):知識應用KGE方法歸類一切知識管理相關的問題,歸根結底都是知識表示問題?!慕忉屝远床?,到探索性洞察;

·從洞察到行動;可視化的一般框架知識庫增強的可視化

stackedareachart

Linehistogram

可視化Tableswithembeddedcharts對比分布關系stacked

100%barchartwithBarchartverticalscatterplot

bubble

sizestacked

100%

areachartstacked

100%

barchart無周期stackedbarchart短期相對比例簡單份額不同時刻短期時序有周期多類別兩個變量絕對組成三個變量兩個變量相對增減長期少數(shù)類別含子元素靜態(tài)不同元素少數(shù)類別動態(tài)長期時序waterfallchartvariablewithchart絕對組成相對比例BarchartverticalBarcharthorizontalcircularareachart

單元素單變量

單元素多變量scatterplot單變量scatterplotpiechartTreemapLinechartLinechartBarhistogram組成及絕對差可視化

大量數(shù)據(jù)

少量數(shù)據(jù)多類別組成subcomponents檢索信息檢索常用框架知識庫增強的檢索算法EDRM模型技術框架?LIUZ,XIONG

C,

SUNM,

et

al.

Entity-DuetNeuralRanking:Understanding

the

Role

of

Knowledge

Graph

Semantics

inNeural

Information

Retrieval[C]//

ACL2018.?XIONGC,POWERR,

CALLAN

J.

Explicit

semantic

ranking

for

academic

search

via

knowledge

graph

embedding[C]//WWW2017.unigramsCNN…Bigrams…Trigrams增強的實體嵌入表示N-gram嵌入表示增強的實體嵌入表示MwwMewMweMee排序特征集成知識增強:1.知識圖譜2.數(shù)據(jù)增強文檔檢索:1.稀疏方法2.稠密方法文檔重排序:1.神經(jīng)網(wǎng)絡模型2.預訓練模型……朱元璋描述類型家族族譜描述類型查詢文檔softMatchFeatureΦ(M)步驟1

步驟2

家族族譜朱元璋交互矩陣M最終排序

得分top-k文檔相關文檔kernelpooling注意力步驟3CNN>>…………推薦算法發(fā)展歷程:協(xié)同過濾、矩陣分解、邏輯回歸、特征交叉、GBDT+LR、大規(guī)模分段線性模

型、深度學習推薦?王喆.深度學習推薦系統(tǒng)[M]

.北京:電子工業(yè)出版社,2020?YUB,ZHOU

C,ZHANG

C,

et

al.A

Privacy-Preserving

Multi-Task

Framework

for

Knowledge

Graph

Enhanced

Recommendation[J].

IEEE

Access,

2020在Deep部分替換成有雙向交互層的MLPNFM實體向量

關系向量學習>知識庫增強的推薦算法KGE

引入

學習>

>

>(b)聯(lián)合學習

(c)交替學習DNN/MLP加入ARGRU序列模型,對興趣演化過程建模將LR作為wide部分,

將MLP作為Deep部分實體向量

關系向量

用戶向量

物品向量將wide部分替

換為跨層網(wǎng)絡

處理特征交叉Deep&crosswide&Deepwide部分改進DeepcrossingDeep部分改進推薦系統(tǒng)用戶向量

物品向量推薦系統(tǒng)實體向量

關系向量將因子分解機的隱向量

作為嵌入表示初始化值交替學習MKR在嵌入層與MLP之

間加入注意力機制在Deep部分加

入注意力網(wǎng)絡用神經(jīng)網(wǎng)絡替代協(xié)同過濾中的點積操作將wide部分由

LR替換為FMAutRecFNNAFMDeepFMNeuralcFFMDRNPNNKGE

>學習

>推薦系統(tǒng)與

強化學習結合基于ResNet的

經(jīng)典DNN結構推薦DIENDIN用戶向量

物品向量

>加入Product層基于單隱層

自動編碼器(a)依次學習}推薦系統(tǒng)知識庫知識庫知識庫KGEFAQ問答的一般框架向量建模方法示意圖BORDESA,CHOPRA

S,WESTONJ.QuestionAnsweringwith

SubgraphEmbeddings[J].Computer

Science唐朝素葉城碎葉城Tokmok安西都護府知識庫問答可以分為:?

基于語義解析?

基于信息抽取?

基于向量建模問答系統(tǒng)可以分為:?

信息檢索式問答、?

FAQ問答、?

知識庫問答。FAQ

①-

相似問句

選擇模塊候選答案與問句的匹配度候選相似

問句查詢問句標準問題

答案問句的二進制編碼φ(q)子圖的二進制編碼Ψ(a)問句的嵌入式表示f(q)候選答案子圖

a(碎葉城)子圖的嵌入式表示g(a)在Freebase中檢測

問句中的實體嵌入矩陣

W嵌入矩陣

W得分s(q,a)

=f(q)Tg(a)Freebase子圖嵌入模型“詩

?”問答問句q檢索模塊點積李白>≤六步建設法(6):知識演化?r

y

>marriedTo

y

>hasChild

z

>hasChild

z

>hasChild

z

>hasChildhasChild(z,x)←marriedTo(y,z)∧hasChild(y,x)基于圖結構基于表示學習時序預測推理

元學習小樣本強化學習推理添加懸掛邊添加閉合邊y

marriedTo

-

z

hasChild

:知識推理技術路線y

marriedTo

>z

hasChild

>演繹推理技術

歸納推理技術hasChildsupervises……marriedToinfluences……傳統(tǒng)的規(guī)則推理中的AMIE算法基于規(guī)則推理算法學習推理

產(chǎn)生式規(guī)則方法

本體推理方法知識推理

查詢重寫方法

邏輯編程推理

混合推理xxxxx?r概率邏輯神經(jīng)網(wǎng)絡(圖靈,出生于,倫敦)(圖靈,居住地,英國)知識推理規(guī)則與知識聯(lián)合訓練KALE算法示意圖GUO

S,WANGQ,WANGL,etal.Jointlyembedding

knowledge

graphs

and

logical

rules[C]//

EMLP2016

觀察到的

真。

隱藏的

×

假?

1.5待預測權重pLogicNet示意圖QUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495實體嵌入關系嵌入真值[0,1]邏輯知識√√×√(巴黎,首都,法國)(巴黎,坐落于,法國)國籍

←居住地國籍

從政于出生于

^坐落于

國籍1.5(倫敦,坐落于,英國)(圖靈,從政于,英國)?

(圖靈,國籍,英國)邏輯連接≤

>真值++2.60.2知識推理實體預測關系路徑推理θ3θ5θ6θ4ηηθ2頭實體描述Φ(h)

關系名Ψ(r)

尾實體描述Φ(t)

尾實體名Ψ(t)

ητ

ξ

iθθ詞嵌入

查詢語義平均內(nèi)容掩碼目標融合上下文

特征抽取特征LAON,COHENW.Relationalretrievalusingacombinationof

path-constrainedrandomwalks[J].Machinelearning,2010PatrickBront?isA

>θ7θ1SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018Painter>頭實體名

Charlotte

Bront?WriterATaleof

Two

CitiesCharles

DickensNovelJaneEyreConMask算法示意圖PRA算法示意圖hasFatherpublish-1publish-1

wroteΨ(h)isA-1i

ξ

i

ξ

iwroteisA?isAisAisAisA

w6

w7

w

1

w2

w3

w4w5ηηη>>>>>>>>ττ1.

領域schema:先自上而下確定一級主題,再自下而上針對場景做主題分解2.

人機協(xié)同:?理解業(yè)務:資深的業(yè)務專家比蹩腳的數(shù)據(jù)分析師更有價值?理解技術的局限性:歷史≠未來,關聯(lián)≠因果,一階智能?先機器反向標注,再人工修正3.

主動學習:降低相似樣本的重復標注成本4.多行業(yè)KG協(xié)同、語境,如:獵豹穿越森林數(shù)據(jù)源分析schema設計人工標注模型開發(fā)錯誤分析圖譜構建迭代更新KaaS建設經(jīng)驗總結(1)精度難保障反復做無用功算法門檻高依賴專家經(jīng)驗認知偏差大難以一步到位標注成本高結果一致性差1.

ROI:?

平衡與妥協(xié):數(shù)據(jù)成本、時間成本、運維成本、人力成本?

商業(yè)價值、社會價值

,行業(yè)標準化程度2.

解決實際問題,不全是訓練模型:?

管理手段

+技術手段?

數(shù)據(jù)質(zhì)量、標注成本、現(xiàn)場考察?

場景容錯性:技術上限v.s.商用下限3.

訓模型不全是高大上的算法:?

規(guī)則、線性模型不一定比非線性模型差,關鍵在特征?

提高泛化能力是永遠的追求,加快速度也是?

傳統(tǒng)行業(yè)中多數(shù)場景下可解釋性很重要?

數(shù)據(jù)利用能力:從未標記、有噪音的數(shù)據(jù)中學習LRDLMFSVMDT

NBROI

=

=

投入成本需求分析'方案設計'開發(fā)'標注'訓練'運維KaaS建設經(jīng)驗總結(2)產(chǎn)出收益應用價值

?復用性簡單規(guī)則規(guī)則引擎簡單模型復雜模型特征工程集成學習1

2概念框架

為什么要用知識圖譜

兩類用戶、三類知識

技術框架建設步驟

六步建設法

經(jīng)驗總結案例介紹

營銷實踐

金融實踐

地鐵實踐

媒資實踐

政務實踐3目錄售前售中售后金融營銷、反欺詐、信用評分智能投顧、智能投研、反洗錢、行為評分、貸中提醒、核保核賠催收、審計、智能客服醫(yī)療智能分診、藥物挖掘智能問診、影像診療、健康管理電子病歷、自動回訪教育營銷、自適應學習、智能排課智能評測、分級閱讀視頻分析零售營銷物流管理、自主結算、數(shù)字供應商顧客行為分析、銷售復盤工業(yè)安全防護缺陷監(jiān)測、生產(chǎn)優(yōu)化、供應鏈優(yōu)化、機器人智能維保政務重點人員監(jiān)控、消防應急交通指揮、自動駕駛、一網(wǎng)通辦、一網(wǎng)通管、

團伙發(fā)現(xiàn)、訴訟輔助行業(yè)應用消費品營銷公安地鐵制造業(yè)餐飲、零售消費品營銷公安地鐵制造業(yè)餐飲、零售車輛

工務

機電

信號人

料法

環(huán)圖譜化什么?——企業(yè)的核心生產(chǎn)要素和核心價值創(chuàng)造活動營銷活動供應鏈案件偵破

社會治理事實知識:企業(yè)的核心生產(chǎn)要素技能知識:企業(yè)的核心價值創(chuàng)造活動生產(chǎn)制造

運營調(diào)度

供應鏈協(xié)同 消費者產(chǎn)品

銷售活動

供應鏈

服務活動

設備管理

組織應急處置設備維護車輛運行人場人物地貨事技術方案業(yè)務需求營銷場景示例推廣技能體系多人協(xié)作編輯類別體系洞察營銷場景示例功效成分產(chǎn)品輿情關系網(wǎng)絡客戶廣告品牌品類性別維

度情

感原文來源曝

光效

果指標體系投放人群標簽興趣標簽延展屬性年齡作者日期行為時序媒體內(nèi)容基礎屬性代言人TA使用渠道類型消費者生產(chǎn)者場

景場

景步

驟痛

點人

群探索性洞察

猜測事物間可能存在的關系,尋

求機會做驗證

如:針對特定客群,探索營銷創(chuàng)

意內(nèi)容關聯(lián)性洞察

以二部圖的方式展現(xiàn)要素間的關

聯(lián)關系

如:聲量統(tǒng)計解釋性洞察

根據(jù)結果,一步步反推,探尋結

果背后的原因

如:對于爆款產(chǎn)品,分析其成果

的營銷策略營銷洞察實踐產(chǎn)品人群場景痛點線下門店示例:導購話術推薦為了在劃傷時劃痕不明顯,特意多上了一層漆有的。這款車有5層漆珍珠白有底漆嗎??

數(shù)據(jù)質(zhì)量問題:跨系統(tǒng)、歷史遺留;?統(tǒng)計口徑問題:經(jīng)營指標不一致,口徑難以統(tǒng)一;?手工報表:零散的需求很多,提數(shù)周期長;?數(shù)據(jù)利用度低:無法加工復雜邏輯的衍生變量;?打通內(nèi)外部數(shù)據(jù),構建關系網(wǎng)絡;?統(tǒng)一建模平臺與系統(tǒng)接口,消除煙囪;?縮短建模周期;風控客戶畫像統(tǒng)一授信資產(chǎn)質(zhì)量監(jiān)控規(guī)則有效性模型穩(wěn)定性銷售運營客群細分客群凈值提升交叉銷售流失預警挽留直銷技能培訓直銷績效考核

渠道質(zhì)量監(jiān)控

渠道分級管理需求與痛點技術方案金融:需求、方案數(shù)據(jù)資源數(shù)據(jù)資產(chǎn)知識資產(chǎn)離線加工異構數(shù)據(jù)管理決策引擎語義層(指標體系、集市)主題層數(shù)據(jù)模型(資產(chǎn)目錄)報表系統(tǒng)(明細報表、指標體系)培訓考核保全策略催收策略數(shù)據(jù)修復信用評估反欺詐材料核驗培訓考核全量存儲ID關聯(lián)打通異構查詢在線學習特征工程模型管理數(shù)據(jù)路由時序表示關系圖譜工作流引擎分類回歸規(guī)則引擎異常檢測產(chǎn)品、運營、

風控、審計作業(yè)、銷管、

財務、高管實時畫像衍生加工消息隊列實時清洗API查詢SQL查詢拖拽查詢半自動化

經(jīng)營報告鏡像同步文件交換區(qū)數(shù)據(jù)規(guī)范

質(zhì)量監(jiān)控權限與加

解密控制日志收集

檢索告警服務監(jiān)控資源管控任務調(diào)度可視化

導航模型參

數(shù)配置規(guī)則集配置工作流

配置元數(shù)據(jù)

維護策略配置與管理三方爬蟲離線文件業(yè)務

系統(tǒng)CRMSDK數(shù)據(jù)服務系統(tǒng)質(zhì)量監(jiān)控實時加工貸后審批數(shù)據(jù)源壞賬率?

數(shù)據(jù):人行征信+外部數(shù)據(jù)?

算法:模型集成?

重點:大數(shù)據(jù)紅利?

數(shù)據(jù):人行征信+外部數(shù)據(jù)?

算法:在線學習?

重點:客戶特征漂移問題?

數(shù)據(jù):人行征信報告?

技術:線性模型?

重點:強變量的精耕細作?

數(shù)據(jù):人行征信報告?

技術:非線性模型?

重點:算法優(yōu)化X

強變量

弱變量

隱藏單元

輸出單元偏置梯度支持向量真實壞賬率

線上LR最新LRGBTSMOB金融:信用評分模型(a)寬度學習

(b)寬深度學習(c)深度學習變量選擇模型開發(fā)數(shù)據(jù)獲取實施跟蹤數(shù)據(jù)預處理探索性分析信用評分模型評估M第一階段:第二階段:第三階段:第四階段:-基礎分值o

-

分值刻度設置>>>-

Ks指標-變量離散化-有效性監(jiān)控

o-

穩(wěn)定性監(jiān)控-擬合度曲線

o

-穩(wěn)定度指標-存量客戶數(shù)據(jù)-潛在客戶數(shù)據(jù)-WOE變換

o

-交叉驗證-變量分布情況-

中位數(shù)、均值-對接業(yè)務系統(tǒng)-好壞比-缺失值處理-異常值處理-單變量分析-共線性分析=

1X各模型效果-壞賬率表現(xiàn)(按通過率40%計算)T

Y12

3

4

5

6

78910

111213

141516

17

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論