數(shù)智時(shí)代的管理研究方法第1篇

數(shù)智時(shí)代管理研究方法基礎(chǔ)篇第2篇

大數(shù)據(jù)驅(qū)動(dòng)的管理研究前沿方法第3篇

認(rèn)知驅(qū)動(dòng)的管理研究前沿方法第1篇數(shù)智時(shí)代管理研究方法基礎(chǔ)篇《數(shù)智時(shí)代的管理研究方法》03對(duì)兩類(lèi)管理學(xué)研究的共同作用；對(duì)預(yù)測(cè)研究的助力；對(duì)因果推斷研究的助力數(shù)智技術(shù)對(duì)管理學(xué)研究的助力作用第2章大數(shù)據(jù)驅(qū)動(dòng)的管理研究的理論基礎(chǔ)與方法應(yīng)用04建議和注意事項(xiàng)；管理學(xué)預(yù)測(cè)建模與計(jì)算機(jī)相關(guān)領(lǐng)域的區(qū)別數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)02因果推斷和預(yù)測(cè)研究的區(qū)別；因果推斷和預(yù)測(cè)研究的現(xiàn)狀和前景因果推斷研究和預(yù)測(cè)研究比較01過(guò)程復(fù)現(xiàn)建模；模擬算法建模兩種不同的基于數(shù)據(jù)的建模邏輯05基礎(chǔ)機(jī)器學(xué)習(xí)模型；深度學(xué)習(xí)模型；非結(jié)構(gòu)化數(shù)據(jù)分析方法常用的數(shù)智技術(shù)及其在管理學(xué)研究中的應(yīng)用1兩種不同的基于數(shù)據(jù)的建模邏輯根據(jù)建模的目的、對(duì)自然界過(guò)程的展示方式以及檢驗(yàn)方法的不同，在管理學(xué)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)及相關(guān)領(lǐng)域的研究中存在著兩種建模邏輯過(guò)程復(fù)現(xiàn)建模：復(fù)現(xiàn)現(xiàn)實(shí)世界中的數(shù)據(jù)生成過(guò)程。數(shù)據(jù)建模和算法建模（Breiman，2001）模擬算法建模：模擬數(shù)據(jù)生成過(guò)程，重點(diǎn)在于近似算法模型。解釋建模和預(yù)測(cè)建模（Shmueli，2010）1兩種不同的基于數(shù)據(jù)的建模邏輯過(guò)程復(fù)現(xiàn)建模模擬算法建模定義復(fù)現(xiàn)現(xiàn)實(shí)世界中的數(shù)據(jù)生成過(guò)程模擬數(shù)據(jù)生成過(guò)程，不追求復(fù)現(xiàn)輸入與輸出一個(gè)或多個(gè)輸入變量(x)，生成輸出變量(y)只觀察輸入(x)和輸出(y)，過(guò)程無(wú)法直接觀察目標(biāo)構(gòu)建反映真實(shí)數(shù)據(jù)生成過(guò)程的模型(y=f(x，參數(shù)，隨機(jī)噪音))構(gòu)建近似算法模型(y=m(x))，使模型輸出接近觀察到的結(jié)果常用模型線性回歸、邏輯回歸、Cox生存模型、結(jié)構(gòu)方程模型神經(jīng)網(wǎng)絡(luò)、決策樹(shù)等機(jī)器學(xué)習(xí)模型建模邏輯過(guò)程復(fù)現(xiàn)，基于真實(shí)數(shù)據(jù)生成的理論黑盒模型，基于算法的迭代訓(xùn)練應(yīng)用領(lǐng)域管理學(xué)中的因果推斷研究機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)任務(wù)發(fā)展速度相對(duì)較慢，模型多為成熟的傳統(tǒng)方法迅速發(fā)展，新模型層出不窮，應(yīng)用范圍廣泛數(shù)據(jù)處理類(lèi)型主要處理結(jié)構(gòu)化數(shù)據(jù)處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，適用于多媒體數(shù)據(jù)（語(yǔ)音、圖像等）常見(jiàn)應(yīng)用因果推斷，描述變量間關(guān)系模式識(shí)別、語(yǔ)音識(shí)別、圖像識(shí)別、市場(chǎng)趨勢(shì)預(yù)測(cè)、生成式AI2因果推斷研究和預(yù)測(cè)研究比較因果推斷預(yù)測(cè)研究目的判斷解釋變量對(duì)因變量的因果關(guān)系的存在和強(qiáng)度構(gòu)建模型以在給定輸入變量值的情況下高質(zhì)量地預(yù)測(cè)輸出變量值模型構(gòu)建驅(qū)動(dòng)因素理論驅(qū)動(dòng)(theory-driven)數(shù)據(jù)驅(qū)動(dòng)(data-driven)內(nèi)生變量處理非常重要不重要檢驗(yàn)標(biāo)準(zhǔn)解釋力(explanationpower)預(yù)測(cè)力(predictionaccuracy)檢驗(yàn)樣本樣本內(nèi)檢驗(yàn)(in-sampletest)樣本外檢驗(yàn)(out-of-sampletest)主要貢獻(xiàn)強(qiáng)調(diào)理論貢獻(xiàn)強(qiáng)調(diào)方法貢獻(xiàn)模型復(fù)雜度常用模型較集中，復(fù)雜度較低模型種類(lèi)多，復(fù)雜度較高數(shù)據(jù)要求主要處理結(jié)構(gòu)化數(shù)據(jù)多種多樣的模型能處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在定量的管理學(xué)研究中，目前因果推斷研究還占據(jù)主導(dǎo)地位，但近年預(yù)測(cè)研究被越來(lái)越多的管理學(xué)學(xué)者接受。信息系統(tǒng)和相關(guān)領(lǐng)域的學(xué)者起著引領(lǐng)作用，但其他管理學(xué)分支正在迎頭趕上（Choi等，2021；Arts等，2018）。未來(lái)，預(yù)測(cè)研究在管理學(xué)研究中所占的比重和所起的作用會(huì)進(jìn)一步提高。3數(shù)智技術(shù)對(duì)管理學(xué)研究的助力作用主要面臨問(wèn)題以人工智能和機(jī)器學(xué)習(xí)為基礎(chǔ)的數(shù)智技術(shù)通常專(zhuān)注于預(yù)測(cè)而不是因果推斷管理學(xué)的各個(gè)分支領(lǐng)域中的實(shí)證研究至少目前還是因果推斷多于預(yù)測(cè)本節(jié)討論數(shù)智技術(shù)助力于不同管理學(xué)研究的路徑和思路。3數(shù)智技術(shù)對(duì)管理學(xué)研究的助力作用數(shù)智技術(shù)對(duì)管理學(xué)研究的共同作用豐富特征數(shù)據(jù)數(shù)智技術(shù)能夠獲取新特征或更豐富的特征，支持更精確的管理學(xué)研究。非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像、音頻）遠(yuǎn)超結(jié)構(gòu)化數(shù)據(jù)，通過(guò)數(shù)智技術(shù)能夠彌補(bǔ)數(shù)據(jù)特征的不足。例如網(wǎng)絡(luò)分析、文本分析和卷積神經(jīng)網(wǎng)絡(luò)可分別提取個(gè)體特征、情感特征及圖片隱形特征，廣泛應(yīng)用于因果推斷和預(yù)測(cè)研究。發(fā)現(xiàn)新模式與規(guī)律數(shù)智模型不限于數(shù)據(jù)量、質(zhì)量和函數(shù)形式，能夠發(fā)現(xiàn)傳統(tǒng)統(tǒng)計(jì)模型無(wú)法識(shí)別的深層規(guī)律。Netzer等（2012）利用文本分析和聚類(lèi)，發(fā)現(xiàn)凱迪拉克品牌形象從傳統(tǒng)美國(guó)品牌轉(zhuǎn)向年輕人喜愛(ài)的豪華品牌。提升管理學(xué)研究的實(shí)踐性預(yù)測(cè)模型的發(fā)展使理論和實(shí)踐結(jié)合緊密，特別是在精準(zhǔn)營(yíng)銷(xiāo)等領(lǐng)域。市場(chǎng)細(xì)分、用戶(hù)畫(huà)像、商品推薦和銷(xiāo)量預(yù)測(cè)等領(lǐng)域的研究，依賴(lài)機(jī)器學(xué)習(xí)的預(yù)測(cè)模型，幫助管理學(xué)研究更貼近現(xiàn)實(shí)需求。3數(shù)智技術(shù)對(duì)管理學(xué)研究的助力作用數(shù)智技術(shù)對(duì)預(yù)測(cè)研究的助力作用已知預(yù)測(cè)問(wèn)題尋找合適工具例如，預(yù)測(cè)一些營(yíng)銷(xiāo)措施對(duì)顧客忠誠(chéng)度或流失概率的影響，需要根據(jù)應(yīng)用場(chǎng)景和問(wèn)題的特征豐富程度選擇多個(gè)回歸模型或分類(lèi)器（如能夠根據(jù)輸入數(shù)據(jù)的特征將其劃分到不同類(lèi)別的算法或模型）來(lái)做分析研究，并通過(guò)實(shí)驗(yàn)確定最好的模型，然后研究影響措施的實(shí)施效果。通過(guò)預(yù)測(cè)工具挖掘新場(chǎng)景和問(wèn)題文本分析工具出現(xiàn)之前，非結(jié)構(gòu)化的文本數(shù)據(jù)的使用非常有限；隨著文本分析工具出現(xiàn)和完善，現(xiàn)在越來(lái)越多的管理學(xué)研究在充分地利用文本數(shù)據(jù)提高研究的深度和廣度。例如，一項(xiàng)研究通過(guò)分析上市公司公開(kāi)文件里的文本數(shù)據(jù)估計(jì)管理者的情感狀況，發(fā)現(xiàn)管理者情感分?jǐn)?shù)對(duì)未來(lái)股價(jià)的影響程度甚至超出宏觀經(jīng)濟(jì)指標(biāo)的影響（Jiang等，2019）。3數(shù)智技術(shù)對(duì)管理學(xué)研究的助力作用數(shù)智技術(shù)對(duì)因果推斷研究的助力作用改進(jìn)現(xiàn)有模型機(jī)器學(xué)習(xí)算法可捕捉復(fù)雜模式，提出改進(jìn)建議。例如，IT投資對(duì)醫(yī)院生產(chǎn)力的非線性影響（Ko和Osei-Bryson,2008）。挖掘新規(guī)律與假設(shè)面對(duì)海量數(shù)據(jù)，機(jī)器學(xué)習(xí)可發(fā)現(xiàn)新的關(guān)聯(lián)，提出新理論和假設(shè)，如線上拍賣(mài)研究中發(fā)現(xiàn)的新理論（Bajari等,2004）。生成新特征變量文本通過(guò)機(jī)器學(xué)習(xí)提取非結(jié)構(gòu)化數(shù)據(jù)中的特征，豐富實(shí)證模型分析，如產(chǎn)品評(píng)論研究（Zhou等,2018）。機(jī)器學(xué)習(xí)助力因果推斷機(jī)器學(xué)習(xí)工具如因果樹(shù)（causaltree）和因果森林（causalforest）可補(bǔ)充傳統(tǒng)模型，未來(lái)或能替代傳統(tǒng)因果推斷模型。預(yù)測(cè)能力作為因果推斷指標(biāo)結(jié)合預(yù)測(cè)和解釋建模的評(píng)估指標(biāo)，有助于彌合理論與實(shí)踐的差距（Keil等,2000）。4數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)4數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)一、針對(duì)數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究的建議和注意事項(xiàng)（一）避免過(guò)擬合、樣本外檢驗(yàn)(Outofsampletest)和交叉檢驗(yàn)（cross-valuation）預(yù)測(cè)模型不應(yīng)該追求過(guò)高擬合優(yōu)度，過(guò)擬合模型往往在訓(xùn)練集中表現(xiàn)良好，但在新數(shù)據(jù)上會(huì)表現(xiàn)不佳，從而影響模型預(yù)測(cè)的質(zhì)量及其在管理決策中的作用。樣本外檢驗(yàn)數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，評(píng)估模型在未知數(shù)據(jù)上的預(yù)測(cè)能力。優(yōu)勢(shì)：簡(jiǎn)單直觀，直接評(píng)估未知數(shù)據(jù)上的性能。限制：僅提供單一性能評(píng)估，可能存在樣本選擇偏差。交叉檢驗(yàn)常用方法為

k折交叉驗(yàn)證：將數(shù)據(jù)集分為

k

個(gè)子集，輪流作為測(cè)試集和訓(xùn)練集。優(yōu)勢(shì)：充分利用數(shù)據(jù)，減少偏差，提升模型穩(wěn)健性。注意：交叉檢驗(yàn)計(jì)算成本較高，選擇合適的

k

值需根據(jù)數(shù)據(jù)集大小和問(wèn)題復(fù)雜度權(quán)衡。4數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)（二）特征工程與特征選擇特征工程：利用領(lǐng)域知識(shí)和數(shù)據(jù)處理技術(shù)，提取、轉(zhuǎn)換、構(gòu)建、降維數(shù)據(jù)特征，提升模型效果。特征提取：從原始數(shù)據(jù)中提取有用信息（如詞袋模型、TF-IDF、時(shí)間序列特征）。特征轉(zhuǎn)換：通過(guò)歸一化、標(biāo)準(zhǔn)化等手段優(yōu)化特征分布（如對(duì)數(shù)變換）。特征構(gòu)建：基于原始特征生成新的特征（如分箱特征、多項(xiàng)式特征）。特征降維：使用技術(shù)如PCA、LDA減少特征維度，降低計(jì)算成本。特征選擇：從原始特征中篩選最具代表性的特征，提升模型泛化能力和預(yù)測(cè)精度。過(guò)濾法：基于統(tǒng)計(jì)學(xué)指標(biāo)（如相關(guān)系數(shù)、方差）排序，選擇重要特征。包裝法：通過(guò)訓(xùn)練模型評(píng)估特征重要性（如遞歸特征消除RFE、遺傳算法）。嵌入法：在模型訓(xùn)練中通過(guò)正則化自動(dòng)選擇特征（如Lasso、Ridge、決策樹(shù)）。注意事項(xiàng)：特征工程和選擇是迭代過(guò)程，需要考慮業(yè)務(wù)問(wèn)題、數(shù)據(jù)特點(diǎn)和模型復(fù)雜度，不斷評(píng)估和調(diào)整，直到找到最佳特征組合。4數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)（三）大樣本數(shù)據(jù)夸大統(tǒng)計(jì)顯著性的問(wèn)題大樣本的機(jī)會(huì)與挑戰(zhàn)：大數(shù)據(jù)技術(shù)允許收集和存儲(chǔ)大量數(shù)據(jù)樣本，為管理學(xué)和實(shí)證研究帶來(lái)機(jī)會(huì)，但也存在陷阱。傳統(tǒng)的統(tǒng)計(jì)推斷基于較小樣本，應(yīng)用于大樣本時(shí)，微小效應(yīng)可能變得具有統(tǒng)計(jì)顯著性，導(dǎo)致對(duì)無(wú)實(shí)際意義的假設(shè)提供支持。問(wèn)題應(yīng)對(duì)策略：不應(yīng)僅依賴(lài)回歸系數(shù)方向和低p值，建議使用以下方法：效應(yīng)大小和置信區(qū)間：衡量實(shí)際意義。多種圖表展示：如CI表、1%統(tǒng)計(jì)顯著性表、CPS表和蒙特卡洛CPS表，全面評(píng)估變量顯著性。4數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)（四）通過(guò)機(jī)器學(xué)習(xí)產(chǎn)生特征可導(dǎo)致的誤差問(wèn)題誤差問(wèn)題：通過(guò)機(jī)器學(xué)習(xí)生成的變量（如文本情緒）常存在測(cè)量誤差或錯(cuò)誤分類(lèi)，影響統(tǒng)計(jì)推斷的準(zhǔn)確性。解決方法：偏差校正：Yang等（2018）提出了兩種基于仿真模擬的偏差校正方法：SIMEX：模擬數(shù)據(jù)以估計(jì)測(cè)量誤差并進(jìn)行校正。MCSIMEX：擴(kuò)展SIMEX，使用蒙特卡羅模擬生成更多數(shù)據(jù)，提升校正效果。這些方法已在實(shí)證分析中被驗(yàn)證，能夠有效減小偏差，改善統(tǒng)計(jì)結(jié)果。其他建議：在使用機(jī)器學(xué)習(xí)生成的特征變量時(shí)，盡量提高準(zhǔn)確性，并進(jìn)行穩(wěn)健性檢驗(yàn)。優(yōu)先選擇集合算法（如裝袋法）以最小化偏差。4數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)（五）提高數(shù)據(jù)質(zhì)量往往比追求更復(fù)雜模型帶來(lái)更高的回報(bào)優(yōu)先提升數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量是有效預(yù)測(cè)模型的基礎(chǔ)，低質(zhì)量數(shù)據(jù)無(wú)法訓(xùn)練出準(zhǔn)確的模型，體現(xiàn)“垃圾進(jìn)，垃圾出”原理。研究表明，提高數(shù)據(jù)質(zhì)量帶來(lái)的回報(bào)通常高于改進(jìn)模型本身的效果（Qu等,2022）。數(shù)據(jù)質(zhì)量提升策略：研究人員應(yīng)關(guān)注數(shù)據(jù)來(lái)源和采集過(guò)程，從源頭確保數(shù)據(jù)質(zhì)量。在分析和建模前，必須對(duì)數(shù)據(jù)進(jìn)行質(zhì)量檢查和清洗，確保其準(zhǔn)確性、完整性和一致性。4數(shù)智技術(shù)驅(qū)動(dòng)的管理學(xué)研究建議和注意事項(xiàng)二、管理學(xué)的預(yù)測(cè)建模與計(jì)算機(jī)相關(guān)領(lǐng)域的預(yù)測(cè)建模的區(qū)別（一）解決明確的商業(yè)問(wèn)題：管理學(xué)預(yù)測(cè)建模需緊密?chē)@實(shí)際管理問(wèn)題，確保模型對(duì)管理決策有實(shí)際支持作用。（二）場(chǎng)景驅(qū)動(dòng)的模型：根據(jù)具體業(yè)務(wù)環(huán)境和需求，選擇合適的建模方法。不同場(chǎng)景需定制模型，如市場(chǎng)營(yíng)銷(xiāo)中的銷(xiāo)售預(yù)測(cè)和人力資源中的員工流失預(yù)測(cè)。（三）綜合考量商業(yè)因素：不僅關(guān)注準(zhǔn)確率和復(fù)雜度，還需考慮成本、效用、利潤(rùn)和風(fēng)險(xiǎn)等關(guān)鍵商業(yè)指標(biāo)，平衡技術(shù)與業(yè)務(wù)需求。（四）避免技術(shù)競(jìng)爭(zhēng)：管理學(xué)研究應(yīng)以解決業(yè)務(wù)問(wèn)題為導(dǎo)向，而非追求技術(shù)突破，注重利用數(shù)智技術(shù)提升管理效能。5常用的數(shù)智技術(shù)及其在管理學(xué)研究中的應(yīng)用5常用的數(shù)智技術(shù)及其在管理學(xué)研究中的應(yīng)用5常用的數(shù)智技術(shù)及其在管理學(xué)研究中的應(yīng)用應(yīng)用領(lǐng)域?qū)W習(xí)任務(wù)常用方法文本分類(lèi)將文本自動(dòng)分類(lèi)到預(yù)定義的類(lèi)別中，例如垃圾郵件檢測(cè)、情感分析等NaiveBayes、SVM、RandomForest和深度學(xué)習(xí)方法如CNN和RNN情感分析分析文本中的情感傾向，識(shí)別作者的情緒是正面、負(fù)面還是中性SVM、RNN、LSTM或Transformer模型主題建模從文本數(shù)據(jù)中發(fā)現(xiàn)潛在主題或話題的任務(wù)潛在語(yǔ)義分析（LatentSemanticAnalysis，LSA）和潛在狄利克雷分布（LatentDirichletAllocation，LDA）機(jī)器翻譯學(xué)習(xí)不同語(yǔ)言之間的翻譯規(guī)則，實(shí)現(xiàn)從一種語(yǔ)言到另一種語(yǔ)言的自動(dòng)翻譯基于統(tǒng)計(jì)的方法、Seq2Seq模型、注意力機(jī)制和Transformer模型語(yǔ)音識(shí)別通過(guò)訓(xùn)練模型識(shí)別語(yǔ)音信號(hào)中的模式，可以轉(zhuǎn)換語(yǔ)音為可讀的文本HMM、深度信念網(wǎng)絡(luò)（DeepBeliefNetwork，DBN）、RNN和LSTM自然語(yǔ)言理解包括詞義消歧、句法分析、語(yǔ)義角色標(biāo)注等，理解語(yǔ)言的結(jié)構(gòu)和含義RNN、LSTM和BERT模型文本生成生成新聞文章、詩(shī)歌、聊天機(jī)器人的回復(fù)等自然語(yǔ)言文本。RNN、LSTM、Transformer、GAN等模型問(wèn)答系統(tǒng)理解用戶(hù)的查詢(xún)并提供準(zhǔn)確的答案結(jié)合使用信息檢索技術(shù)、深度學(xué)習(xí)模型如BERT，以及知識(shí)圖譜。對(duì)話系統(tǒng)聊天機(jī)器人和虛擬助手模擬人類(lèi)對(duì)話，提供交互式的用戶(hù)體驗(yàn)Seq2Seq模型、注意力機(jī)制、RNN和LSTM，以及Transformer架構(gòu)文本摘要自動(dòng)生成文本的簡(jiǎn)短版本，捕捉主要內(nèi)容提取式摘要方法和生成式摘要方法，包括CNN和RNN命名實(shí)體識(shí)別識(shí)別文本中的特定實(shí)體，如人名、地點(diǎn)、組織等CRF、SVM、RNN和LSTM依存句法分析分析句子中詞語(yǔ)之間的依存關(guān)系基于規(guī)則的方法、基于圖的方法、注意力機(jī)制文本聚類(lèi)將文本數(shù)據(jù)分組，使得同一組內(nèi)的文本在內(nèi)容上更為相似K-means、層次聚類(lèi)、DBSCAN和譜聚類(lèi)信息檢索幫助用戶(hù)從大量文檔中找到相關(guān)信息TF-IDF、BM25、語(yǔ)義索引和深度學(xué)習(xí)模型推薦系統(tǒng)從大量文檔中找到相關(guān)信息推薦給用戶(hù)協(xié)同過(guò)濾、基于內(nèi)容的推薦系統(tǒng)和混合推薦系統(tǒng)，使用矩陣分解技術(shù)、深度學(xué)習(xí)模型語(yǔ)音合成將文本轉(zhuǎn)換為語(yǔ)音HMM、Tacotron和WaveNet等深度生成模型文本數(shù)據(jù)5常用的數(shù)智技術(shù)及其在管理學(xué)研究中的應(yīng)用應(yīng)用領(lǐng)域?qū)W習(xí)任務(wù)常用方法圖像分類(lèi)將圖像分配到特定的類(lèi)別中，如識(shí)別圖片是貓、狗還是一輛車(chē)卷積神經(jīng)網(wǎng)絡(luò)，如AlexNet、VGGNet、ResNet等目標(biāo)檢測(cè)識(shí)別圖像中的對(duì)象，并定位它們的位置，例如在商店的監(jiān)控視頻中識(shí)別并定位盜竊行為CNN、YOLO、SSD（SingleShotMultiBoxDetector）等語(yǔ)義分割對(duì)圖像中的每個(gè)像素進(jìn)行分類(lèi)，區(qū)分出不同的對(duì)象和邊界，如在衛(wèi)星圖像中區(qū)分道路、建筑物和自然區(qū)域全卷積網(wǎng)絡(luò)、U-Net、DeepLab系列等實(shí)例分割對(duì)每個(gè)獨(dú)立對(duì)象進(jìn)行像素級(jí)分割，如在一張圖片中識(shí)別并分離出多個(gè)人MaskR-CNN、YOLACT等姿態(tài)估計(jì)確定人體或動(dòng)物身體各部分的位置和方向，常用于交互式游戲和健康監(jiān)測(cè)CNN和RNN的結(jié)合，如OpenPose、AlphaPose等人臉識(shí)別識(shí)別圖像中的人臉，包括驗(yàn)證和識(shí)別深度卷積網(wǎng)絡(luò)如FaceNet、DeepFace圖像生成與風(fēng)格遷移生成新的圖像或?qū)⒁环N圖像的風(fēng)格應(yīng)用到另一種圖像上生成對(duì)抗網(wǎng)絡(luò)（GAN）如DCGAN、CycleGAN圖像超分辨率提高圖像的分辨率而不失去質(zhì)量，用于提高圖像清晰度深度學(xué)習(xí)模型如SRCNN、ESPCN圖像去噪去除圖像中的噪聲，提高圖像質(zhì)量非局部均值濾波器、BM3D算法以及基于深度學(xué)習(xí)的模型如DnCNN目標(biāo)跟蹤在視頻序列中跟蹤特定對(duì)象，如在交通監(jiān)控中跟蹤車(chē)輛。KCF、MDNet等視覺(jué)問(wèn)答對(duì)關(guān)于圖像內(nèi)容的問(wèn)題自動(dòng)生成答案，結(jié)合了圖像理解和自然語(yǔ)言處理結(jié)合CNN用于圖像特征提取和RNN或Transformer用于語(yǔ)言處理的模型三維重建從圖像中恢復(fù)場(chǎng)景的三維結(jié)構(gòu)，用于電影制作、游戲開(kāi)發(fā)和增強(qiáng)現(xiàn)實(shí)立體匹配技術(shù)、深度學(xué)習(xí)和圖割算法，結(jié)合使用CNN進(jìn)行特征提取視覺(jué)導(dǎo)航用于自動(dòng)駕駛車(chē)輛和機(jī)器人，幫助它們理解周?chē)h(huán)境并導(dǎo)航結(jié)合使用CNN進(jìn)行環(huán)境感知和RNN或MDP進(jìn)行決策圖像標(biāo)注自動(dòng)為圖像中的每個(gè)對(duì)象添加描述性標(biāo)簽，有助于創(chuàng)建結(jié)構(gòu)化的視覺(jué)數(shù)據(jù)庫(kù)使用CNN進(jìn)行圖像特征提取，然后應(yīng)用多標(biāo)簽分類(lèi)模型或RNN進(jìn)行標(biāo)注圖像數(shù)據(jù)5常用的數(shù)智技術(shù)及其在管理學(xué)研究中的應(yīng)用應(yīng)用領(lǐng)域?qū)W習(xí)任務(wù)常用方法語(yǔ)音識(shí)別將語(yǔ)音轉(zhuǎn)換為文本HMM、RNN、LSTM、連接時(shí)序分類(lèi)（CTC）情感分析識(shí)別語(yǔ)音中的情感狀態(tài)SVM、DBN音樂(lè)分類(lèi)將音頻數(shù)據(jù)分配到預(yù)定義的音樂(lè)類(lèi)別或標(biāo)簽中SVM、DecisionTree、CNN、RNN等聲紋識(shí)別識(shí)別或驗(yàn)證說(shuō)話者的身份CNN、LSTM音頻生成生成新的音頻片段RNN、GAN、VAE應(yīng)用領(lǐng)域?qū)W習(xí)任務(wù)常用方法動(dòng)作識(shí)別識(shí)別視頻中的人類(lèi)動(dòng)作LSTM、TCN、注意力機(jī)制等視頻分類(lèi)將視頻分配到特定的類(lèi)別3D卷積神經(jīng)網(wǎng)絡(luò)、時(shí)間卷積網(wǎng)絡(luò)（TCN）目標(biāo)跟蹤在視頻中檢測(cè)和定位特定對(duì)象，并跟蹤它們?cè)谶B續(xù)幀中的運(yùn)動(dòng)的任務(wù)卡爾曼濾波器、FasterR-CNN、YOLO、SORT等視頻生成生成新的視頻數(shù)據(jù)GAN、VAE人臉識(shí)別在視頻中識(shí)別人臉深度卷積網(wǎng)絡(luò)，如FaceNet視頻字幕生成為視頻自動(dòng)生成字幕Seq2seq模型，如基于注意力機(jī)制的模型。視覺(jué)問(wèn)答對(duì)視頻內(nèi)容的問(wèn)題自動(dòng)生成答案多模態(tài)學(xué)習(xí)模型，結(jié)合視覺(jué)和語(yǔ)言模型，如融合CNN和LSTM視頻數(shù)據(jù)音頻數(shù)據(jù)第2篇大數(shù)據(jù)驅(qū)動(dòng)的管理研究前沿方法《數(shù)智時(shí)代的管理研究方法》03常用網(wǎng)絡(luò)數(shù)據(jù)獲取程序第3章網(wǎng)絡(luò)大數(shù)據(jù)采集方法04文獻(xiàn)分析02網(wǎng)絡(luò)大數(shù)據(jù)的主要收集方法01網(wǎng)絡(luò)大數(shù)據(jù)的類(lèi)型與用途定義與特點(diǎn)01定義網(wǎng)絡(luò)大數(shù)據(jù)指的是在互聯(lián)網(wǎng)上產(chǎn)生、傳輸和存儲(chǔ)的海量數(shù)據(jù)。涵蓋了各個(gè)領(lǐng)域和行業(yè)的信息，包括但不限于用戶(hù)行為數(shù)據(jù)、社交媒體數(shù)據(jù)、電子商務(wù)數(shù)據(jù)、網(wǎng)絡(luò)日志數(shù)據(jù)等。通常以非結(jié)構(gòu)化或半結(jié)構(gòu)化的形式存在；被廣泛用于構(gòu)建刻畫(huà)用戶(hù)行為、衡量上市公司各個(gè)維度特征、宏觀經(jīng)濟(jì)狀態(tài)分析以及金融市場(chǎng)分析等。02特點(diǎn)用戶(hù)行為數(shù)據(jù)：分析用戶(hù)在網(wǎng)站、應(yīng)用程序和社交媒體上的點(diǎn)擊、搜索、購(gòu)買(mǎi)等行為，可以獲得用戶(hù)偏好、興趣和消費(fèi)行為等信息。用于個(gè)性化推薦、精準(zhǔn)廣告投放和用戶(hù)洞察分析。搜索引擎數(shù)據(jù)：搜索引擎記錄了用戶(hù)的搜索關(guān)鍵詞、點(diǎn)擊鏈接和瀏覽行為等。可用于搜索引擎優(yōu)化（SEO）、關(guān)鍵詞廣告選擇和市場(chǎng)競(jìng)爭(zhēng)分析等。社交媒體數(shù)據(jù)：社交媒體平臺(tái)產(chǎn)生包括用戶(hù)發(fā)布的文本、圖片和視頻等?？梢粤私夤姷那楦袃A向、意見(jiàn)領(lǐng)袖、話題趨勢(shì)等，用于輿情監(jiān)測(cè)、品牌管理和社會(huì)趨勢(shì)研究等。其他網(wǎng)絡(luò)大數(shù)據(jù)：網(wǎng)絡(luò)日志數(shù)據(jù)、地理位置數(shù)據(jù)、在線視頻數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、區(qū)塊鏈數(shù)據(jù)、健康數(shù)據(jù)、航空和旅游數(shù)據(jù)、能源和環(huán)境數(shù)據(jù)、物流和供應(yīng)鏈數(shù)據(jù)、農(nóng)業(yè)和食品數(shù)據(jù)……電子商務(wù)數(shù)據(jù)：在線購(gòu)物平臺(tái)產(chǎn)生了大量的購(gòu)買(mǎi)記錄、產(chǎn)品評(píng)價(jià)和用戶(hù)反饋等數(shù)據(jù)。可以進(jìn)行市場(chǎng)細(xì)分、產(chǎn)品定價(jià)和促銷(xiāo)策略等的優(yōu)化和決策支持。常見(jiàn)的網(wǎng)絡(luò)大數(shù)據(jù)類(lèi)型和用途網(wǎng)絡(luò)大數(shù)據(jù)的主要收集方法數(shù)據(jù)采集已經(jīng)廣泛應(yīng)用于網(wǎng)絡(luò)及分布式系統(tǒng)中，涉及到的技術(shù)包括但不限于：使用攝像頭、麥克風(fēng)等設(shè)備，以及信號(hào)處理、傳感器、激勵(lì)器、信號(hào)調(diào)度、數(shù)據(jù)采集硬件和軟件應(yīng)用等。大數(shù)據(jù)采集技術(shù)的特點(diǎn)一是分布式架構(gòu)的普遍應(yīng)用。由于大數(shù)據(jù)的流量巨大，記錄的數(shù)量眾多，傳統(tǒng)的單機(jī)采集方法在性能和存儲(chǔ)容量上都難以滿(mǎn)足需求。二是多種采集技術(shù)的融合使用。大數(shù)據(jù)的采集往往涉及多種數(shù)據(jù)源，每種數(shù)據(jù)源可能需要不同的采集技術(shù)，這就要求在大數(shù)據(jù)采集過(guò)程中綜合運(yùn)用多種技術(shù)。大數(shù)據(jù)采集的四種類(lèi)型及采集方法包括網(wǎng)頁(yè)、視頻、音頻、動(dòng)畫(huà)、圖片等多種形式?？赡苄枰玫絊hell編程、爬蟲(chóng)工具、爬蟲(chóng)程序開(kāi)發(fā)（使用Java、Python等語(yǔ)言）、HTTP協(xié)議、TCP/IP基本原理、Socket編程接口、數(shù)據(jù)格式轉(zhuǎn)換、分布式存儲(chǔ)系統(tǒng)（如HDFS、HBase）的命令和接口、以及分布式應(yīng)用開(kāi)發(fā)等技術(shù)。WEB數(shù)據(jù)大數(shù)據(jù)采集的四種類(lèi)型及采集方法涉及系統(tǒng)、應(yīng)用程序等產(chǎn)生的日志信息?？赡苌婕暗讲杉ぞ撸ㄈ鏔lume、Fluentd）、接入工具（如Kafka）、日志采集程序開(kāi)發(fā)、Shell編程、TCP/IP原理和網(wǎng)絡(luò)編程接口、數(shù)據(jù)格式轉(zhuǎn)換、分布式存儲(chǔ)系統(tǒng)的命令和接口、分布式應(yīng)用開(kāi)發(fā)等。日志數(shù)據(jù)大數(shù)據(jù)采集的四種類(lèi)型及采集方法來(lái)自各種關(guān)系型或非關(guān)系型數(shù)據(jù)庫(kù)。可能需要Shell編程、采集工具、接入工具、數(shù)據(jù)庫(kù)采集程序開(kāi)發(fā)、SQL查詢(xún)語(yǔ)言及編程接口、關(guān)系型數(shù)據(jù)庫(kù)連接（如JDBC）、TCP/IP原理、Socket編程接口、數(shù)據(jù)格式轉(zhuǎn)換、分布式存儲(chǔ)系統(tǒng)的命令和接口、分布式應(yīng)用開(kāi)發(fā)等技術(shù)。數(shù)據(jù)庫(kù)數(shù)據(jù)大數(shù)據(jù)采集的四種類(lèi)型及采集方法如來(lái)自感知設(shè)備的數(shù)據(jù)等?？赡苄枰囟ǖ臄?shù)據(jù)源接口使用、編程語(yǔ)言、數(shù)據(jù)格式轉(zhuǎn)換、分布式存儲(chǔ)系統(tǒng)的命令和接口等技術(shù)。其他數(shù)據(jù)文獻(xiàn)分析文章題目：ClimateChangeConcernsandthePerformanceofGreenvs.BrownStocks；文章作者：DavidArdia,KevenBluteau,KrisBoudt,KoenInghelbrecht；文章來(lái)源：ManagementScience（2022）（UTD24）；鏈接：/10.1287/mnsc.2022.4636研究背景和問(wèn)題提出該論文研究氣候變化對(duì)金融市場(chǎng)的影響。隨著全球?qū)Νh(huán)境問(wèn)題的關(guān)注日益增加，投資者和企業(yè)也越來(lái)越重視氣候變化的影響。如何評(píng)估氣候變化關(guān)注度的意外變化，這種關(guān)注度的變化如何影響綠色和褐色股票的表現(xiàn)？該研究通過(guò)收集新聞文章作為氣候變化關(guān)注度的指標(biāo)，并利用股票回報(bào)數(shù)據(jù)來(lái)研究關(guān)注度變化與股票表現(xiàn)之間的關(guān)系。主要理論與基本假設(shè)投資者在氣候變化敏感度方面存在差異。基于資產(chǎn)定價(jià)理論，氣候變化關(guān)注度會(huì)影響不同股票的市場(chǎng)表現(xiàn)。假設(shè)1：在意外增加的氣候變化關(guān)注度下，綠色股票相對(duì)于褐色股票表現(xiàn)出更好的回報(bào)。假設(shè)2：高溫室氣體排放強(qiáng)度的褐色公司面臨較高的負(fù)面影響，而綠色公司在意外增加的氣候變化關(guān)注度下更能受益。數(shù)據(jù)來(lái)源與數(shù)據(jù)整理通過(guò)爬蟲(chóng)抓取2003年1月1日至2018年6月30日期間美國(guó)報(bào)紙：NewYorkTimes,WashingtonPost,LosAngelesTimes,WallStreetJournal,HoustonChronicle,ChicagoTribune,ArizonaRepublic,USAToday,NewYorkDailyNews和NewYorkPost上的氣候變化相關(guān)新聞文章超過(guò)50萬(wàn)篇；該論文也利用Asset4/Refinitiv數(shù)據(jù)庫(kù)獲取上市公司的碳排放強(qiáng)度數(shù)據(jù)。本文主要的數(shù)據(jù)類(lèi)型是新聞媒體報(bào)道的文本數(shù)據(jù)，可以使用以下爬蟲(chóng)示例代碼對(duì)相關(guān)的新聞媒體網(wǎng)站文章進(jìn)行爬取，并通過(guò)文本分析和自然語(yǔ)言處理工具來(lái)進(jìn)行分析。如何獲取新聞網(wǎng)站內(nèi)容？變量測(cè)量關(guān)鍵變量是構(gòu)建媒體關(guān)注氣候變化指數(shù)MCCC指標(biāo)，然后分析MCCC指標(biāo)對(duì)于綠色和棕色股票收益的影響。具體構(gòu)建公式如下。上式中，RW、PW、TW分別對(duì)應(yīng)于新聞文本中的風(fēng)險(xiǎn)詞匯的數(shù)量、正面詞匯的數(shù)量和總詞匯數(shù)量。這些詞匯數(shù)量可以通過(guò)Python代碼對(duì)相關(guān)的新聞媒體報(bào)道文本進(jìn)行分詞然后匯總統(tǒng)計(jì)得到。更進(jìn)一步，氣候風(fēng)險(xiǎn)關(guān)注度指數(shù)可以定義如下：其中h(·)是平方根函數(shù)。如何分詞？使用Jieba包進(jìn)行中文分詞。如何情感分析？Python的TextBlob包和Vader包均可進(jìn)行情感分析。注：需要將需要分析的內(nèi)容準(zhǔn)確翻譯為英文。文章點(diǎn)評(píng)這篇文章通過(guò)構(gòu)建和分析一個(gè)基于新聞媒體的氣候變化關(guān)注度指數(shù)（MCCC），提供了實(shí)證證據(jù)，表明當(dāng)公眾對(duì)氣候變化的關(guān)注度意外增加時(shí)，綠色公司的股票表現(xiàn)會(huì)優(yōu)于棕色公司。研究團(tuán)隊(duì)巧妙地利用了文本分析和機(jī)器學(xué)習(xí)技術(shù)，從大量新聞報(bào)道中提取了氣候變化相關(guān)的主題和話題，并據(jù)此衡量了市場(chǎng)對(duì)綠色和棕色股票的反應(yīng)。思考題1.網(wǎng)絡(luò)大數(shù)據(jù)都有哪些類(lèi)型、來(lái)源和用途？2.常用的獲取網(wǎng)絡(luò)大數(shù)據(jù)的方法有哪些？3.網(wǎng)絡(luò)大數(shù)據(jù)對(duì)于管理研究而言有哪些作用？03分類(lèi)任務(wù)評(píng)估指標(biāo)；回歸任務(wù)評(píng)估指標(biāo)；文本生成常用指標(biāo)文本分析的常用指標(biāo)與計(jì)算方法第4章文本數(shù)據(jù)分析技術(shù)及在管理研究中的應(yīng)用04戰(zhàn)略管理領(lǐng)域的應(yīng)用；財(cái)務(wù)會(huì)計(jì)領(lǐng)域的應(yīng)用；市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域的應(yīng)用；人力資源和組織行為學(xué)研究中的應(yīng)用；經(jīng)濟(jì)學(xué)研究中的應(yīng)用文本分析在經(jīng)濟(jì)管理研究中應(yīng)用02信息抽取；信息檢索；文本聚類(lèi)；主題模型；前饋神經(jīng)網(wǎng)絡(luò)；Transformer模型；預(yù)訓(xùn)練語(yǔ)言模型；生成式大語(yǔ)言模型文本分析中常用的機(jī)器學(xué)習(xí)方法01文本表示；文本分析常見(jiàn)任務(wù)文本數(shù)據(jù)分析的基本原理05文獻(xiàn)案例分析01文本數(shù)據(jù)分析的基本原理文本表示；文本分析常見(jiàn)任務(wù)01TEILEINS文本數(shù)據(jù)分析的基本原理文本表示文本文本

數(shù)據(jù)

信息詞列表分詞詞向量/句向量向量化文本分析自然語(yǔ)言處理是人工智能和語(yǔ)言學(xué)領(lǐng)域的分支學(xué)科。[自然,語(yǔ)言,處理,是,人工,智能,和,語(yǔ)言學(xué),領(lǐng)域,的,分支,學(xué)科][[0.2,0.3,…],[0.1,0.4,…],[0.6,0.2,…],[0.7,0.8,…],…]語(yǔ)言模型文本分類(lèi)文本監(jiān)督關(guān)鍵詞提取命名實(shí)體識(shí)別文本摘要主題抽取知識(shí)圖譜構(gòu)建文本表示分詞方法01BPEBBPEWordPieceUnigramSentencePiece……構(gòu)建詞向量02One-Hot詞向量Word2Vec詞向量基于預(yù)訓(xùn)練語(yǔ)言模型的詞向量構(gòu)建句/文檔向量03詞袋模型TF-IDF表示基于預(yù)訓(xùn)練語(yǔ)言模型的句子及文檔表征構(gòu)建BPE（字節(jié)對(duì)編碼）：分詞方法設(shè)定基礎(chǔ)字符,并統(tǒng)計(jì)基礎(chǔ)字符的字頻詞匯表初始化01輸入新的文本,從最終字符集中抽取字符實(shí)現(xiàn)分詞分詞03將出現(xiàn)頻率最高的相鄰字符對(duì)設(shè)定為新的字符集,統(tǒng)計(jì)詞頻,直到無(wú)法繼續(xù)迭代合并02Afewyearsagotheworldwassuddenlyastoundedbyhearingofanexperimentofamostnovelanddaringnature…['A','</w>','f','e','w','</w>','y','e','a','r','s','</w>','a','g','o','</w>','t','h','e','</w>',…]ly,</w>、ured</w>、furni、remin、Lake</w>、barom、eter</w>、les,</w>、stand、veloc、often、eful</w>、you?</w>、snick、"not</w>、far,</w>、page</w>、ce."</w>、Clear、_d_,</w>、be,"</w>、becom、tly;</w>、"Oh,</w>、do!"</w>、drop</w>、now!</w>、too.</w>、expec、asper……mountainsIlikeeatingapples!mountains['I','like','ea','ting','app','l','es!</w>']BPE：優(yōu)點(diǎn)有效地處理大量的未知詞動(dòng)態(tài)調(diào)整詞匯表的大小（1）有效地處理大量的未知詞,將未知詞拆分為較小的、已知的子單元,使模型能夠更好地理解和處理這些詞。（2）根據(jù)實(shí)際的語(yǔ)料庫(kù)動(dòng)態(tài)調(diào)整詞匯表的大小,使其既能夠覆蓋大部分常見(jiàn)詞匯,又能保持一定的靈活性來(lái)處理新詞或罕見(jiàn)詞。實(shí)例：處理變格后的詞匯[higher]傳統(tǒng)分詞方法：直接轉(zhuǎn)為原型,必然造成信息丟失higherhigh（信息丟失）BPE方法：分詞不影響信息量,可通過(guò)調(diào)整詞匯表改變?cè)~匯的分詞方式higherhigher（大詞匯表）higher[high,er]（小詞匯表）實(shí)例：處理未知詞匯[hypocalcemia]傳統(tǒng)分詞方法：不會(huì)做任何處理hypocalcemiahypocalcemiaBPE方法：分詞可能解釋其詞根詞綴hypocalcemia hypo=low calc=calcium emia=presenceinbloodBBPE分詞方法BPE01BBPE02詞匯表初始化迭代合并分詞文本轉(zhuǎn)化為字節(jié)序列迭代合并分詞詞匯表初始化優(yōu)點(diǎn)：所有文本都轉(zhuǎn)化為字節(jié)序列,能無(wú)縫處理多種語(yǔ)言和特殊字符WordPiece分詞方法BPE01WordPiece02詞匯表初始化迭代合并（高詞頻字符對(duì)優(yōu)先）分詞迭代合并（高互信息度優(yōu)先）分詞詞匯表初始化

Unigram：分詞方法初始化一個(gè)大詞表,其中包含所有可能的子詞初始化大詞匯表01反復(fù)進(jìn)行這一過(guò)程,直到詞匯表大小降至目標(biāo)大小或滿(mǎn)足其他終止條件。得到最終詞匯表03根據(jù)Unigram語(yǔ)言模型的打分,移除相對(duì)重要程度最低的子詞剪枝02Unigram：分詞方法實(shí)例對(duì)于句子：“cathat”,如何分詞？1.整理出最大的詞匯表和頻數(shù)、頻率2.計(jì)算每個(gè)單詞的分詞方法,并計(jì)算該方法的概率,為其分詞的各個(gè)概率之積。將概率最大的分詞方法的概率為該單詞的概率。3.計(jì)算損失率,為各個(gè)單詞的頻數(shù)乘以其概率的負(fù)對(duì)數(shù)之和4.注意到分詞中包含“ca”。試圖減去它,發(fā)現(xiàn)損失率不變（或者可以接受）。此時(shí),cat的分詞變?yōu)閏atUnigram：分詞方法實(shí)例對(duì)于句子：“cathat”,如何分詞？4.注意到分詞中還包含“ha”。試圖減去它,發(fā)現(xiàn)損失率不變（或者可以接受）。此時(shí),hat的分詞變?yōu)閔at5.繼續(xù)嘗試刪除詞匯,發(fā)現(xiàn)刪掉a、t,損失率也不變。也可以不刪掉a和t,刪掉at組合,但損失率增加。6.繼續(xù)嘗試刪除詞匯,發(fā)現(xiàn)刪除任一詞匯都會(huì)造成損失率無(wú)意義,因此達(dá)成最優(yōu)。同時(shí)發(fā)現(xiàn)最優(yōu)的分詞方法是[“c”,

“h”,

“at”]分詞工具：SentencePiece模塊['▁This','▁is','▁a','▁t','ri','al']"Thisisatrial"結(jié)果詞向量的構(gòu)建：One-Hot詞向量基本思想：每個(gè)詞表示為一個(gè)唯一的二進(jìn)制向量,其中只有一個(gè)元素為1,其余元素都為0。優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單缺點(diǎn)：維度過(guò)高；詞和詞之間缺乏聯(lián)系；矩陣稀疏“大魚(yú)吃小魚(yú),小魚(yú)吃蝦米”大魚(yú),吃,小魚(yú),小魚(yú),吃,蝦米大魚(yú) [1,0,0,0,0]吃 [0,1,0,0,0]小魚(yú) [0,0,1,0,0]小魚(yú) [0,0,1,0,0]吃 [0,0,0,1,0]蝦米 [0,0,0,0,1]詞向量的構(gòu)建：Word2Vec詞向量CBOW模型：通過(guò)上下文（即當(dāng)前詞周?chē)脑~）來(lái)預(yù)測(cè)當(dāng)前詞Skip-gram模型：最大化給定當(dāng)前詞時(shí)上下文詞出現(xiàn)的條件概率圖：Mikolovetal.2013詞向量的構(gòu)建：Word2Vec模塊詞向量的構(gòu)建：基于預(yù)訓(xùn)練語(yǔ)言模型的詞向量隨著深度學(xué)習(xí)的發(fā)展，更先進(jìn)的模型如ELMO、BERT和GPT等，使用預(yù)來(lái)生成詞向量，這些詞向量不僅捕捉了詞匯的靜態(tài)語(yǔ)義，還能夠根據(jù)上下文動(dòng)態(tài)調(diào)整，從而更準(zhǔn)確地表示訓(xùn)練的語(yǔ)言模型詞義。這些模型通常使用大量文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，然后可以在特定任務(wù)上進(jìn)行微調(diào)以進(jìn)一步提高性能。圖：Petersetal.2018句向量和文檔向量構(gòu)建詞袋模型文檔為1*n的向量，n即為詞表的長(zhǎng)度，每個(gè)值都代表詞表對(duì)應(yīng)位置的詞在文中出現(xiàn)的次數(shù)優(yōu)點(diǎn)：簡(jiǎn)單缺點(diǎn)：忽略了單詞在文本中的順序TF-IDF方法基于預(yù)訓(xùn)練語(yǔ)言模型TF：指的是某一個(gè)給定的詞語(yǔ)在該文件中出現(xiàn)的頻率IDF：包含指定詞語(yǔ)的文件在總文件中的占比之倒數(shù)TF*IDF：詞語(yǔ)對(duì)該文件的重要性用法：提取文件關(guān)鍵詞；為詞袋模型加權(quán)基于預(yù)訓(xùn)練語(yǔ)言模型，獲取句子的嵌入矩陣?；陬A(yù)訓(xùn)練語(yǔ)言模型構(gòu)建句向量文本分析常見(jiàn)任務(wù)：語(yǔ)言模型對(duì)于任意的詞序列，它能夠計(jì)算出這個(gè)序列是一句話的概率“語(yǔ)言模型（LanguageModel,LM）也稱(chēng)統(tǒng)計(jì)語(yǔ)言模型，主要對(duì)文本序列的概率分布進(jìn)行建模”

功能：判斷文本的連貫性判斷內(nèi)容的合理性對(duì)新聞、研報(bào)進(jìn)行質(zhì)量和真實(shí)性評(píng)估等訓(xùn)練集測(cè)試集文本分析常見(jiàn)任務(wù)：文本分類(lèi)文本文本&tag預(yù)測(cè)tag（調(diào)整）參數(shù)對(duì)比實(shí)際tag其他文本當(dāng)前方法下的最優(yōu)模型tag模型功能：文檔過(guò)濾情感分析新聞歸類(lèi)主題標(biāo)簽分配文本分析常見(jiàn)任務(wù)：文本聚類(lèi)功能：通過(guò)特定主題檢索有關(guān)文檔；將特定文檔總結(jié)出多個(gè)主題通過(guò)主題對(duì)文檔分組識(shí)別追蹤熱點(diǎn)話題原始文本清洗后的文檔向量聚類(lèi)算法K-meansDBSCANBIRCHCluster1Cluster2Cluster3……Cluster1Cluster2Cluster3……Text1√√√Text2√√Text3√√……文本分析常見(jiàn)任務(wù)：關(guān)鍵詞提取原始文本功能：理解文本內(nèi)容組織和索引信息便于進(jìn)一步的文本挖掘和分析任務(wù)開(kāi)展清洗后的文檔向量候選詞最佳候選詞計(jì)算相似度文本分析常見(jiàn)任務(wù)：文本摘要分詞計(jì)算句子與文本的相似度得到最相似句子，組成摘要抽取式摘要優(yōu)點(diǎn)：簡(jiǎn)單直接，不需要生成新的文本缺點(diǎn)：忽略一些重要信息文本尋找關(guān)鍵詞預(yù)測(cè)語(yǔ)料庫(kù)中的詞出現(xiàn)的概率得到最可能的句子，組成摘要語(yǔ)料庫(kù)生成式摘要優(yōu)點(diǎn)：靈活缺點(diǎn)：事實(shí)錯(cuò)誤，語(yǔ)義錯(cuò)誤文本分析常見(jiàn)任務(wù)：命名實(shí)體識(shí)別標(biāo)記的文本：{'text':'浙商銀行企業(yè)信貸部葉老桂博士則從另一個(gè)角度對(duì)五道門(mén)檻進(jìn)行了解讀。葉老桂認(rèn)為，對(duì)目前國(guó)內(nèi)商業(yè)銀行而言',

'label':

{'name':{'葉老桂':[[9,11]]},

'company':{'浙商銀行':[[0,3]]}

}

}需要推廣的文本：{'id':0,

'text':'美聯(lián)儲(chǔ)預(yù)計(jì)將很快加息，考慮為政策留更多空間'}結(jié)果：{'id':0,

'label':

{'company':{'美聯(lián)儲(chǔ)':[[0,2]]}

}}功能：信息提取、問(wèn)答系統(tǒng)、內(nèi)容摘要、機(jī)器翻譯文本分析常見(jiàn)任務(wù)：主題抽取功能：揭示文本數(shù)據(jù)中的潛在模式快速理解大量文本內(nèi)容的主要議題和趨勢(shì)從大規(guī)模文本數(shù)據(jù)中發(fā)現(xiàn)有意義的信息大量原始文本分詞Topic1:關(guān)鍵詞1關(guān)鍵詞2…Topic2:關(guān)鍵詞1關(guān)鍵詞2…Topic3:關(guān)鍵詞1關(guān)鍵詞2……解釋主題文本分析常見(jiàn)任務(wù)：知識(shí)圖譜構(gòu)建功能：智能問(wèn)答個(gè)性化推薦02文本分析中常用的機(jī)器學(xué)習(xí)方法信息抽?。恍畔z索；文本聚類(lèi)；主題模型；前饋神經(jīng)網(wǎng)絡(luò)；Transformer模型；預(yù)訓(xùn)練語(yǔ)言模型；生成式大語(yǔ)言模型02TEILZWEITextRank信息抽取方法原始文本分詞，構(gòu)建圖迭代計(jì)算節(jié)點(diǎn)權(quán)重選擇節(jié)點(diǎn)權(quán)重最高的關(guān)鍵詞作為候選適用場(chǎng)景：自動(dòng)摘要（抽取式摘要）、關(guān)鍵詞提取和句子重要性評(píng)估等缺點(diǎn)：忽略語(yǔ)義信息；難以處理長(zhǎng)文本text="自然語(yǔ)言處理（NaturalLanguageProcessing，簡(jiǎn)稱(chēng)NLP）是人工智能和語(yǔ)言學(xué)領(lǐng)域的分支學(xué)科，研究計(jì)算機(jī)與人類(lèi)（自然）語(yǔ)言之間的相互作用。自然語(yǔ)言處理是用計(jì)算機(jī)來(lái)處理、理解和生成自然語(yǔ)言的技術(shù)。"TextRankBM25檢索方法適用場(chǎng)景：從關(guān)鍵詞進(jìn)行信息檢索缺點(diǎn)：對(duì)參數(shù)敏感；無(wú)法處理復(fù)雜查詢(xún)；忽略詞序和上下文輸入關(guān)鍵詞文檔中關(guān)鍵詞的出現(xiàn)頻率文檔長(zhǎng)度出現(xiàn)關(guān)鍵詞的文檔數(shù)BM25檢索算法各個(gè)文檔的相似值K-means文本聚類(lèi)適用場(chǎng)景：信息檢索、文檔管理、用戶(hù)分析、內(nèi)容推薦等缺點(diǎn)：對(duì)離群點(diǎn)敏感；假設(shè)簇是球形且大小相似；需要事先指定簇的數(shù)量；可能收斂到局部最優(yōu)解而非全局最優(yōu)解；每個(gè)樣本只能屬于一個(gè)簇文本向量化分配其他文檔原始文本選擇文檔作為簇中心計(jì)算各個(gè)文檔與中心的距離均值最佳中心及分類(lèi)關(guān)注點(diǎn)：數(shù)據(jù)標(biāo)準(zhǔn)化/歸一化確定K值初始中心數(shù)據(jù)分布文本層次聚類(lèi)適用場(chǎng)景：信息檢索、文檔管理、用戶(hù)分析、內(nèi)容推薦等文本向量化生成文本簇自下而上合并自上而下剪枝原始文本計(jì)算文本間相似度矩陣展示結(jié)果：樹(shù)狀圖等優(yōu)點(diǎn)：直觀不需要指定聚類(lèi)數(shù)量缺點(diǎn)：對(duì)離群點(diǎn)敏感；計(jì)算復(fù)雜度高主題模型大量原始文本分詞Topic1:關(guān)鍵詞1關(guān)鍵詞2…Topic2:關(guān)鍵詞1關(guān)鍵詞2…Topic3:關(guān)鍵詞1關(guān)鍵詞2……解釋主題用主題表示文檔適用場(chǎng)景：文檔分類(lèi)、文本聚類(lèi)、信息檢索、知識(shí)管理、內(nèi)容推薦等缺點(diǎn)：對(duì)長(zhǎng)文本效果有限；對(duì)短文本效果有限；對(duì)詞序信息的忽略前饋神經(jīng)網(wǎng)絡(luò)？適用場(chǎng)景：分類(lèi)、預(yù)測(cè)等監(jiān)督學(xué)習(xí)領(lǐng)域，效果好于傳統(tǒng)機(jī)器學(xué)習(xí)方法缺點(diǎn)：缺乏可解釋性，難以解釋其決策過(guò)程和內(nèi)部表示Transformer模型特點(diǎn)：引入自注意力機(jī)制，允許模型在處理一個(gè)序列的每個(gè)元素時(shí)，同時(shí)考慮序列中的所有其他元素，從而捕獲元素之間的內(nèi)部依賴(lài)關(guān)系不足之處：注意力機(jī)制的計(jì)算復(fù)雜度高內(nèi)存占用大對(duì)數(shù)據(jù)質(zhì)量和數(shù)量的要求較高實(shí)踐工具：Pytorch、TensorFlow等預(yù)訓(xùn)練語(yǔ)言模型：GPT&BERT特點(diǎn)：雙向預(yù)訓(xùn)練，每個(gè)token可以注意到兩側(cè)的其他token預(yù)訓(xùn)練方法：掩蓋句子的部分詞，要求模型填空判斷兩個(gè)句子是否連續(xù)應(yīng)用場(chǎng)景：文本分類(lèi)、回歸預(yù)測(cè)、序列標(biāo)注、實(shí)體識(shí)別特點(diǎn)：?jiǎn)蜗蝾A(yù)訓(xùn)練，每個(gè)token只能注意到前面的token預(yù)訓(xùn)練方法：預(yù)測(cè)下一個(gè)詞應(yīng)用場(chǎng)景：文本摘要、問(wèn)答、對(duì)話等生成式大語(yǔ)言模型特點(diǎn)：能夠以對(duì)話的形式實(shí)現(xiàn)各種自然語(yǔ)言處理任務(wù)，而且能以較高的分?jǐn)?shù)完成一系列相對(duì)專(zhuān)業(yè)的任務(wù)實(shí)踐應(yīng)用：微調(diào)：在特定領(lǐng)域的數(shù)據(jù)集上進(jìn)行小規(guī)模有監(jiān)督微調(diào)API調(diào)用03文本分析的常用指標(biāo)與計(jì)算方法分類(lèi)任務(wù)評(píng)估指標(biāo)；回歸任務(wù)評(píng)估指標(biāo)；文本生成常用指標(biāo)01TEILDREI分類(lèi)任務(wù)評(píng)估指標(biāo)實(shí)際情況預(yù)測(cè)結(jié)果正例反例正例TPFN反例FPTN

分類(lèi)任務(wù)評(píng)估指標(biāo)實(shí)際情況預(yù)測(cè)結(jié)果正例反例正例TPFN反例FPTN

AUC曲線執(zhí)行分類(lèi)任務(wù)，機(jī)器判定為真的概率為p對(duì)機(jī)器結(jié)果人工降維，人工指定閾值P，當(dāng)概率p＞P視為真求解得到閾值P下的召回率和誤診率將所有閾值下的召回率和誤診率繪制成（誤診率，召回率）坐標(biāo)點(diǎn)連點(diǎn)成線，即AUC曲線曲線下面積越大，證明召回率越高、誤診率越小，模型越好回歸任務(wù)評(píng)估指標(biāo)

預(yù)測(cè)值實(shí)際值

文本生成常用指標(biāo)：Rouge分?jǐn)?shù)衡量自動(dòng)生成的摘要與參考摘要之間的N-gram重疊度評(píng)價(jià)標(biāo)準(zhǔn)：精確度：正確預(yù)測(cè)的N-grams數(shù)量占自動(dòng)生成摘要中N-grams總數(shù)的比例召回率：正確預(yù)測(cè)的N-grams數(shù)量占參考摘要中N-grams總數(shù)的比例類(lèi)型：Rouge-1：連續(xù)一個(gè)單詞序列Rouge-2：連續(xù)兩個(gè)單詞序列Rouge-L：計(jì)算標(biāo)準(zhǔn)摘要與候選摘要之間的最長(zhǎng)公共子序列文本生成常用指標(biāo)：BLEU分?jǐn)?shù)測(cè)量機(jī)器生成文本與一個(gè)或多個(gè)參考文本之間的n-gram重疊度適用范圍：機(jī)器翻譯質(zhì)量評(píng)估、文本問(wèn)答、自動(dòng)摘要評(píng)價(jià)標(biāo)準(zhǔn)：精確度：正確預(yù)測(cè)的N-grams數(shù)量占自動(dòng)生成摘要中N-grams總數(shù)的比例文本生成常用指標(biāo)：人工評(píng)測(cè)人工打分：基于固定的評(píng)分標(biāo)準(zhǔn)、量表

優(yōu)點(diǎn)：簡(jiǎn)單直接，易于實(shí)施

缺點(diǎn)：可能受到評(píng)估者主觀偏見(jiàn)的影響成對(duì)比較：比較兩個(gè)文本中哪一個(gè)更好或平局

優(yōu)點(diǎn)：減少評(píng)估的主觀性排序：根據(jù)質(zhì)量將多個(gè)文本排序

優(yōu)點(diǎn)：比較多個(gè)系統(tǒng)的輸出，可以提供關(guān)于不同系統(tǒng)性能的直觀理解

缺點(diǎn)：比成對(duì)比較更耗時(shí)錯(cuò)誤分析：對(duì)生成文本中的錯(cuò)誤進(jìn)行詳細(xì)分析，包括錯(cuò)誤的類(lèi)型、原因和頻率

優(yōu)點(diǎn)：有助于評(píng)估系統(tǒng)的整體性能，還能提供改進(jìn)系統(tǒng)的具體指導(dǎo)

缺點(diǎn)：通常需要評(píng)估者對(duì)任務(wù)有深入的理解任務(wù)基準(zhǔn)測(cè)試：觀察用戶(hù)在執(zhí)行特定任務(wù)時(shí)使用生成文本的效率和效果來(lái)進(jìn)行評(píng)估

例子：讓專(zhuān)業(yè)的翻譯人員使用機(jī)器翻譯的結(jié)果進(jìn)行后編輯，并記錄完成任務(wù)所需的時(shí)間和所做的修改數(shù)量04文本分析在經(jīng)濟(jì)管理研究中應(yīng)用戰(zhàn)略管理領(lǐng)域的應(yīng)用；財(cái)務(wù)會(huì)計(jì)領(lǐng)域的應(yīng)用；市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域的應(yīng)用；人力資源和組織行為學(xué)研究中的應(yīng)用；經(jīng)濟(jì)學(xué)研究中的應(yīng)用01TEILVIEL戰(zhàn)略管理領(lǐng)域Westphal和Zhu(2019)戰(zhàn)略環(huán)境分析師報(bào)告文本外部環(huán)境競(jìng)爭(zhēng)不確定性人工構(gòu)建詞典高/中/低競(jìng)爭(zhēng)不確定性人工判斷Choi等（2021）公司戰(zhàn)略年度報(bào)告預(yù)處理提取關(guān)鍵章節(jié)分詞/合并短語(yǔ)刪除超高/低頻詞主題建模&主題解釋多元化（主題權(quán)重的赫芬達(dá)爾指數(shù)）Eklund和Mannor(2021)戰(zhàn)略注意力盈余電話會(huì)議文本13類(lèi)戰(zhàn)略注意力詞頻人工構(gòu)建詞典戰(zhàn)略廣度（赫芬達(dá)爾指數(shù)）戰(zhàn)略管理領(lǐng)域Harrison等(2019)高管特質(zhì)電話會(huì)議文本CEO的大五人格訓(xùn)練集：已明確其人格的CEO的語(yǔ)料GBM梯度提升機(jī)Pan等(2018)戰(zhàn)略溝通盈余電話會(huì)議文本語(yǔ)言具體性統(tǒng)計(jì)不同詞性的詞頻財(cái)務(wù)會(huì)計(jì)領(lǐng)域Nie?ner等(2022)財(cái)報(bào)分析財(cái)務(wù)報(bào)告提取關(guān)鍵句SketchEngine文本語(yǔ)調(diào)情感詞典Siering等(2021)欺詐檢測(cè)Netzer等(2017)信用評(píng)級(jí)和違約預(yù)測(cè)貸款申請(qǐng)文本文本中各主題的權(quán)重LDA主題模型與違約的相關(guān)性分析經(jīng)營(yíng)情況標(biāo)記破產(chǎn)預(yù)測(cè)薦股語(yǔ)料可疑/非可疑分類(lèi)可疑/非可疑標(biāo)記詞袋模型信息量可讀性情感極性市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域消費(fèi)者評(píng)論情感文本挖掘/分類(lèi)器主題消費(fèi)者情感分析（Xu等，2019）市場(chǎng)趨勢(shì)分析（Saritas等，2021）多文檔聚類(lèi)品牌形象監(jiān)測(cè)（Alzate等，2022）品牌形象&品牌定位市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域大量競(jìng)爭(zhēng)對(duì)手公開(kāi)信息競(jìng)爭(zhēng)對(duì)手情報(bào)摘要文本摘要技術(shù)競(jìng)爭(zhēng)對(duì)手分析（Chakraborti等，2018）內(nèi)容營(yíng)銷(xiāo)+內(nèi)容創(chuàng)作效率+研究效率+客戶(hù)服務(wù)質(zhì)量大語(yǔ)言模型技術(shù)內(nèi)容營(yíng)銷(xiāo)優(yōu)化（Rivas等，2023）人力資源和組織行為學(xué)研究員工反饋主題：自我評(píng)價(jià)文本挖掘/分類(lèi)器主題：工作滿(mǎn)意度工作環(huán)境質(zhì)量……員工績(jī)效評(píng)估（Behera等，2019）員工情緒和滿(mǎn)意度分析（Chinazzo等，2021）簡(jiǎn)歷AI簡(jiǎn)歷分析/職位推薦招聘和人才選拔（Roy等，2020；Chou等，2020）企業(yè)需求經(jīng)濟(jì)學(xué)研究UGC文本內(nèi)容情緒變化文本挖掘/分類(lèi)器經(jīng)濟(jì)預(yù)測(cè)和市場(chǎng)分析股票趨勢(shì)預(yù)測(cè)房地產(chǎn)市場(chǎng)變化消費(fèi)者信心指數(shù)政策文件文本內(nèi)容主題政策取向/目標(biāo)/措施政策分析宏觀經(jīng)濟(jì)研究經(jīng)濟(jì)政策/經(jīng)濟(jì)增長(zhǎng)趨勢(shì)/通脹預(yù)期未來(lái)研究方向自動(dòng)化財(cái)報(bào)生成財(cái)務(wù)數(shù)據(jù)解釋與分析財(cái)務(wù)預(yù)測(cè)與分析01市場(chǎng)分析與消費(fèi)者行為02企業(yè)戰(zhàn)略與決策支持03人力資源管理04金融科技與投資分析05國(guó)際商務(wù)與跨文化管理06情感分析與市場(chǎng)情緒預(yù)測(cè)個(gè)性化營(yíng)銷(xiāo)戰(zhàn)略規(guī)劃與模擬決策支持系統(tǒng)市場(chǎng)進(jìn)入策略招聘與人才管理員工反饋與滿(mǎn)意度分析智能投顧風(fēng)險(xiǎn)管理與合規(guī)監(jiān)控初創(chuàng)公司潛力分析跨文化溝通05文獻(xiàn)案例分析Harrison,J.S.,Josefy,M.A.,Kalm,M.,&Krause,R.(2023).Usingsupervisedmachinelearningtoscalehuman‐codeddata:Amethodanddatasetintheboardleadershipcontext.StrategicManagementJournal,44(7),1780-1802.01TEILFüNF研究背景&構(gòu)念識(shí)別及訓(xùn)練樣本構(gòu)建在戰(zhàn)略管理領(lǐng)域中，學(xué)者們?cè)絹?lái)越依賴(lài)于公開(kāi)信息來(lái)源（如盈余電話會(huì)議、股東信函、社交媒體帖子等）的非結(jié)構(gòu)化文本數(shù)據(jù)來(lái)測(cè)量復(fù)雜的理論構(gòu)念，但是：復(fù)雜構(gòu)念無(wú)法經(jīng)由預(yù)定義的詞典挖掘出來(lái)純?nèi)斯ぞ幋a需要大量資源投入因此，需要通過(guò)監(jiān)督機(jī)器學(xué)習(xí)方法來(lái)克服人工編碼的樣本限制構(gòu)念：董事會(huì)協(xié)作/控制導(dǎo)向訓(xùn)練&測(cè)試集：現(xiàn)有的已編碼的小規(guī)模文本數(shù)據(jù)+作者額外編碼的部分?jǐn)?shù)據(jù)=4032個(gè)數(shù)據(jù)數(shù)據(jù)應(yīng)用數(shù)據(jù)拓展模型開(kāi)發(fā)實(shí)證研究步驟文本預(yù)處理提取文本特征詞袋模型TF-IDF向量化W2V詞嵌入D2V詞嵌入LDA模型使用分類(lèi)器Logrf評(píng)價(jià)模型訓(xùn)練集中的預(yù)測(cè)準(zhǔn)確性保留集的預(yù)測(cè)準(zhǔn)確性評(píng)價(jià)拓展性模型準(zhǔn)確度訓(xùn)練測(cè)試損失曲線下面積值數(shù)據(jù)拓展獲得22388個(gè)公司年觀測(cè)值驗(yàn)證準(zhǔn)確性抽取200個(gè)預(yù)測(cè)樣本，人工檢查，各項(xiàng)正確率達(dá)到80%+得到最優(yōu)模型進(jìn)一步分析控制導(dǎo)向的董事會(huì)主席強(qiáng)化了公司業(yè)績(jī)和CEO解雇之間的負(fù)相關(guān)關(guān)系驗(yàn)證了現(xiàn)有理論模型的準(zhǔn)確性驗(yàn)證拓展性該指標(biāo)對(duì)解聘有負(fù)向影響，在績(jī)效與解聘中沒(méi)有交互作用與CEO兩職合一變量得到的結(jié)果類(lèi)似驗(yàn)證了現(xiàn)有實(shí)證研究的準(zhǔn)確性經(jīng)管研究應(yīng)用文本數(shù)據(jù)分析技術(shù)及在管理研究中的應(yīng)用文本表示文本詞列表分詞詞向量向量化句/文檔向量構(gòu)建BPE方法BBPE方法WordPiece方法Unigram方法SentencePiece模塊One-Hot詞向量Word2Vec詞向量基于預(yù)訓(xùn)練語(yǔ)言模型的詞向量詞袋模型TF-IDF表示基于預(yù)訓(xùn)練語(yǔ)言模型的句子/文檔表征構(gòu)建常見(jiàn)任務(wù)常見(jiàn)方法語(yǔ)言模型文本分類(lèi)文本監(jiān)督關(guān)鍵詞提取命名實(shí)體識(shí)別文本摘要主題抽取知識(shí)圖譜構(gòu)建信息抽取信息檢索文本聚類(lèi)主題模型前饋神經(jīng)網(wǎng)絡(luò)Transformer模型預(yù)訓(xùn)練語(yǔ)言模型生成式大語(yǔ)言模型評(píng)價(jià)方法分類(lèi)任務(wù)準(zhǔn)確度精確率召回率F1值曲線下面積回歸任務(wù)均方誤差均方根誤差平均絕對(duì)誤差平均絕對(duì)百分比誤差文本生成任務(wù)Rouge分?jǐn)?shù)BLEU分?jǐn)?shù)人工評(píng)測(cè)大語(yǔ)言模型文本摘要前饋神經(jīng)網(wǎng)絡(luò)Transformer模型詞典法文本聚類(lèi)主題模型量化構(gòu)念

集中度主題變化/聚類(lèi)情感分析破產(chǎn)/違約/欺詐預(yù)測(cè)情報(bào)摘要營(yíng)銷(xiāo)優(yōu)化人才選拔預(yù)處理文本分類(lèi)預(yù)測(cè)文本生成03經(jīng)濟(jì)學(xué)領(lǐng)域、財(cái)會(huì)領(lǐng)域、市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域及其他圖像數(shù)據(jù)分析在經(jīng)濟(jì)管理研究中的應(yīng)用04案例02圖像獲取圖像預(yù)處理圖像分割特征提取圖像高級(jí)處理分析圖像數(shù)據(jù)分析的流程01基礎(chǔ)概念重要性及應(yīng)用范圍發(fā)展歷程圖像數(shù)據(jù)分析的基本原理05本章總結(jié)第5章圖像數(shù)據(jù)分析技術(shù)及在管理研究中的應(yīng)用01圖像數(shù)據(jù)分析基本原理01PARTONE圖像數(shù)據(jù)分析的基本原理-基本概念基本概念數(shù)字圖像定義：二維圖像通過(guò)有限數(shù)字?jǐn)?shù)值像素表示，通過(guò)數(shù)字化模擬圖像得到。像素與圖像分辨率：像素是數(shù)字圖像的基本單元，圖像分辨率表示圖像中的信息量，單位為PPI(PixelsPerInch)-像素每英寸。圖像數(shù)據(jù)分析的基本原理-顏色模型（RGB）工作原理應(yīng)用場(chǎng)景：顯示設(shè)備：如計(jì)算機(jī)顯示器、電視、智能手機(jī)屏幕。攝影和圖像捕捉：相機(jī)傳感器常使用RGB模型。色光疊加：在舞臺(tái)燈光中，通過(guò)調(diào)整RGB燈光的強(qiáng)度，可以創(chuàng)造出豐富多彩的燈光效果，如日落的橙色或夜晚的藍(lán)色?；诩由恚ㄟ^(guò)混合不同強(qiáng)度的紅、綠、藍(lán)光來(lái)生成各種顏色。每個(gè)顏色通道的值范圍通常為0-255。RGB顏色模型全稱(chēng)：紅色（Red）、綠色（Green）、藍(lán)色（Blue）示例圖像數(shù)據(jù)分析的基本原理-顏色模型（CMY）工作原理應(yīng)用場(chǎng)景：打印技術(shù)：噴墨打印機(jī)和激光打印機(jī)廣泛使用CMYK模型。繪畫(huà)和染色：用于選擇顏料的混合以獲得所需顏色。在四色印刷中，CMYK顏色模型通過(guò)逐層疊加不同顏色的墨水，實(shí)現(xiàn)高精度的圖像再現(xiàn)，如雜志和彩色書(shū)籍的印刷?；跍p色原理，通過(guò)吸收特定波長(zhǎng)的光來(lái)生成顏色。常與黑色（Key,K）一起使用，形成CMYK模型，用于打印。CMY顏色模型全稱(chēng)：青色（Cyan）、品紅（Magenta）、黃色（Yellow）示例圖像數(shù)據(jù)分析的基本原理-顏色模型（HSV）在設(shè)計(jì)軟件中，HSV模型允許用戶(hù)通過(guò)旋轉(zhuǎn)色相環(huán)來(lái)直觀選擇顏色，調(diào)整飽和度和明度以獲得所需的色彩效果。工作原理應(yīng)用場(chǎng)景：圖像編輯：如Photoshop中的色彩調(diào)整工具。計(jì)算機(jī)視覺(jué)：用于顏色分割和目標(biāo)檢測(cè)。更符合人類(lèi)的顏色感知方式，將顏色分為色相、飽和度和明度三個(gè)維度。色相：表示顏色的類(lèi)型，如紅、綠、藍(lán)等。、飽和度：表示顏色的純度，從灰色到鮮艷。明度：表示顏色的亮度，從黑色到全亮。HSV顏色模型全稱(chēng)：色相（Hue）、飽和度（Saturation）、明度（Value）示例圖像數(shù)據(jù)分析的基本原理-顏色模型對(duì)比RGB適用于光的發(fā)射（顯示設(shè)備），基于加色原理。CMY適用于光的吸收（打印），基于減色原理。RGB/CMY基于物理光學(xué)原理，適合數(shù)值計(jì)算和硬件實(shí)現(xiàn)。HSV基于人類(lèi)感知，便于顏色的選擇和調(diào)整，適合用戶(hù)界面和圖像分析。VS.VS.圖像數(shù)據(jù)分析的基本原理-發(fā)展歷程1最初的圖像處理技術(shù)主要是物理和化學(xué)的方法，如攝影術(shù)的發(fā)明和膠片的使用，這些技術(shù)幫助人類(lèi)捕捉和保存視覺(jué)信息。早期圖像處理（19世紀(jì)-20世紀(jì)初）2345特征提取技術(shù)的發(fā)展，使得從圖像中提取穩(wěn)定且具有代表性的特征成為可能，極大提高了匹配和分類(lèi)的準(zhǔn)確性。特征提?。?990年代-2000年代）計(jì)算機(jī)視覺(jué)的早期研究，如羅素·哈特利和彼特·尼爾森的工作，為機(jī)器“看”和理解圖像奠定了基礎(chǔ)。計(jì)算機(jī)視覺(jué)的誕生（20世紀(jì)50年代-60年代）機(jī)器學(xué)習(xí)技術(shù)，特別是支持向量機(jī)（SVM）和神經(jīng)網(wǎng)絡(luò)的發(fā)展，為圖像分類(lèi)和識(shí)別帶來(lái)了新的階段。機(jī)器學(xué)習(xí)的興起（20世紀(jì)90年代）這一時(shí)期的圖像處理系統(tǒng)通過(guò)預(yù)定義的規(guī)則和決策樹(shù)來(lái)處理和分析圖像，例如早期的車(chē)牌識(shí)別系統(tǒng)。專(zhuān)家系統(tǒng)和規(guī)則系統(tǒng)（20世紀(jì)70年代-80年代）圖像數(shù)據(jù)分析的基本原理-發(fā)展歷程6789云計(jì)算和大數(shù)據(jù)技術(shù)的發(fā)展使得處理和分析大規(guī)模圖像數(shù)據(jù)成為可能，推動(dòng)了圖像分析技術(shù)在多個(gè)領(lǐng)域的應(yīng)用。大數(shù)據(jù)和云計(jì)算的應(yīng)用（2010年代至今）量子計(jì)算、邊緣計(jì)算和AI芯片等新興技術(shù)也將為其提供新的機(jī)遇和挑戰(zhàn)未來(lái)展望：卷積神經(jīng)網(wǎng)絡(luò)（CNN）的應(yīng)用標(biāo)志著深度學(xué)習(xí)在圖像數(shù)據(jù)分析領(lǐng)域的突破，大幅提高了圖像識(shí)別和分析的能力。深度學(xué)習(xí)的崛起（2000年代末至今）多模態(tài)學(xué)習(xí)和遷移學(xué)習(xí)技術(shù)的發(fā)展為圖像數(shù)據(jù)分析帶來(lái)了新的維度和可能性。多模態(tài)融合與遷移學(xué)習(xí)（2010年代至今）02圖像數(shù)據(jù)分析流程01PARTONE圖像數(shù)據(jù)分析流程概述數(shù)字圖像獲取：使用攝像機(jī)、掃描儀等設(shè)備生成數(shù)字圖像。圖像預(yù)處理：改進(jìn)圖像質(zhì)量，為分析做準(zhǔn)備。圖像分割：將圖像劃分為易于分析的子區(qū)域。特征提取：從圖像中提取關(guān)鍵屬性。高級(jí)處理：基于提取的數(shù)據(jù)進(jìn)行深入分析。圖像分割圖像分割定義：將數(shù)字圖像劃分為若干一致性區(qū)域，區(qū)分內(nèi)部特性一致，而區(qū)域間特性差異的子區(qū)域。01閾值分割基于灰度信息，將圖像空間劃分成有意義的區(qū)域。關(guān)鍵步驟：選擇合適或最佳閾值。常用算法：最大類(lèi)間方差法、最大熵法、最小誤差法。圖像預(yù)處理-去噪、灰度化選擇閾值-手動(dòng)或自動(dòng)（如Otsu方法）二值化處理-分割出的區(qū)域轉(zhuǎn)換為黑白應(yīng)用閾值-分割前景與背景后處理-去除雜點(diǎn)，補(bǔ)全缺失部分評(píng)估效果

-檢查分割質(zhì)量圖像分割-閾值分割使用Otsu's方法自動(dòng)選擇最優(yōu)閾值使用固定閾值-127圖像分割-基于邊緣分割0102基于邊緣的分割方法依據(jù)顏色或灰度的劇變進(jìn)行分割。困難點(diǎn)：光照不均和噪聲干擾影響邊緣檢測(cè)效果。圖像預(yù)處理-去噪、增強(qiáng)邊緣檢測(cè)-使用算法（如Canny、Sobel）邊緣連接-構(gòu)成封閉邊界區(qū)域分割-根據(jù)邊緣劃分區(qū)域后處理-消除小區(qū)域，平滑邊緣評(píng)估效果

-檢查分割質(zhì)量圖像分割-邊緣分割圖像分割-評(píng)估效果01主觀評(píng)價(jià):基于人的視覺(jué)感知評(píng)估圖像的直觀質(zhì)量和細(xì)節(jié)02客觀評(píng)價(jià)通用性:是否適用于不同類(lèi)型的圖像客觀性:結(jié)果不受個(gè)人偏見(jiàn)影響定量性:依據(jù)數(shù)值衡量效果方法，例如：優(yōu)度法:計(jì)算分割結(jié)果與理想結(jié)果的相似度誤差法:計(jì)算分割錯(cuò)誤的像素比例圖像特征提取目的：找到圖像中物體的邊界。方法：觀察圖像中亮度變化明顯的地方，這些通常是物體的邊緣。應(yīng)用：幫助識(shí)別圖像中的形狀和物體。常用方法：基于梯度、基于拉普拉斯邊緣檢測(cè)目的：分析圖像表面的模式和結(jié)構(gòu)，如磚墻或織物的紋理。應(yīng)用：幫助區(qū)分不同物體或材料的表面特性。常用算法：Moravec算子、Harris角點(diǎn)檢測(cè)、SUSAN角點(diǎn)檢測(cè)、FAST算法。紋理分析03顏色特征指標(biāo)：全局顏色分布；顏色空間分布；顏色屬性。紋理特征指標(biāo)：局部序列性；局部方向性；局部粗糙和疏密形狀特征指標(biāo)：輪廓特征；區(qū)域特征。空間關(guān)系：相對(duì)空間位置信息；絕對(duì)空間位置信息。定義：圖像中邊緣相交的點(diǎn)，這些點(diǎn)通常包含了豐富的信息。應(yīng)用：在進(jìn)行圖像匹配和識(shí)別物體時(shí)非常有用。角點(diǎn)檢測(cè)02功能：描述和識(shí)別圖像中的各種形狀，例如圓形、矩形等。應(yīng)用：用于物體檢測(cè)和分類(lèi)。形狀描述04目的：將圖像數(shù)據(jù)轉(zhuǎn)換為計(jì)算機(jī)易于理解和處理的形式，用于機(jī)器學(xué)習(xí)和分類(lèi)。關(guān)鍵特征：邊緣、角點(diǎn)、紋理、形狀描述符等。01特征提取的指標(biāo)總結(jié)圖像特征提取-圖像色彩分析顏色直方圖顯示了每種顏色在整個(gè)圖像中出現(xiàn)的頻率，有助于理解圖像的顏色分布，左側(cè)為基于RGB圖像的顏色直方圖.紅色通道（Red）顯示紅色通道的分布主要集中在低值和中等值區(qū)域，這表明圖像中有一些較暗的紅色和中等亮度的紅色，尤其是在低值區(qū)域的峰值表明了較多的暗紅色成分。綠色通道（Green）:綠色通道分布呈現(xiàn)兩個(gè)峰值，一個(gè)在較低的亮度區(qū)域，另一個(gè)在中等亮度區(qū)域，表明圖像中存在大量的深綠和中綠色調(diào)，這與草地的顏色分布一致。藍(lán)色通道（Blue）:藍(lán)色通道的分布比較平坦，并在中高亮度區(qū)域有一個(gè)峰值，表明天空中藍(lán)色的分布以及一些云朵中淡藍(lán)色的影響。圖像特征提取-關(guān)鍵點(diǎn)提取使用SIFT（尺度不變特征變換）算法來(lái)提取圖像的關(guān)鍵點(diǎn)。不同的尺度（大?。┲胁檎覉D像的特殊點(diǎn)排除不清晰和邊緣上的點(diǎn)給每個(gè)特殊點(diǎn)一個(gè)方向?yàn)槊總€(gè)點(diǎn)創(chuàng)建一個(gè)獨(dú)特的辨識(shí)符號(hào)找到相同的特殊點(diǎn)，用于連接圖像或識(shí)別物體圖像高級(jí)處理對(duì)象檢測(cè)與識(shí)別識(shí)別圖像中的具體對(duì)象如汽車(chē)、行人，并確定它們的位置。識(shí)別地標(biāo)和品牌標(biāo)志，如埃菲爾鐵塔。場(chǎng)景理解與分類(lèi)識(shí)別并分類(lèi)整個(gè)場(chǎng)景，如海灘、森林。理解場(chǎng)景的上下文，如天氣、時(shí)間。面部識(shí)別與屬性分析通過(guò)人臉進(jìn)行身份驗(yàn)證。分析面部特征，判斷年齡、性別、表情。姿態(tài)估計(jì)與行為分析分析圖像中人或物體的姿態(tài)和行為。用于動(dòng)作分析，如跑步、行走的姿態(tài)。圖像語(yǔ)義分割異常檢測(cè)與預(yù)警檢測(cè)圖像中的異常事件，如火災(zāi)、交通事故。及時(shí)發(fā)出預(yù)警，以便采取行動(dòng)。情感分析與情緒識(shí)別分析圖像可能引發(fā)的情感反應(yīng)，如快樂(lè)、悲傷。識(shí)別和分析圖像中人物的情緒狀態(tài)。目的：使計(jì)算機(jī)不僅能識(shí)別圖像中的物體，還能理解物體間的關(guān)系、場(chǎng)景含義和預(yù)測(cè)行為。核心：從圖像中提取有意義的模式和信息，轉(zhuǎn)化為計(jì)算機(jī)可理解的形式。將圖像分割成不同區(qū)域，每個(gè)區(qū)域分配類(lèi)別標(biāo)簽。識(shí)別和區(qū)分圖像中不同對(duì)象的邊界和關(guān)系。圖像分析軟件與工具簡(jiǎn)介01交互式編程環(huán)境，支持多種編程語(yǔ)言。直觀展示代碼和富文本，包括方程、圖像和視頻。支持Markdown，便于創(chuàng)建和共享文檔。JupyterNotebook生成數(shù)據(jù)：創(chuàng)建了三組具有不同均值和標(biāo)準(zhǔn)差的正態(tài)分布數(shù)據(jù)。繪圖設(shè)置：使用plt.figure()設(shè)置圖形的大小。繪制直方圖：使用不同的顏色和標(biāo)簽繪制每組數(shù)據(jù)的直方圖。圖像分析軟件與工具簡(jiǎn)介02開(kāi)發(fā)者：由Google開(kāi)發(fā)的機(jī)器學(xué)習(xí)框架。優(yōu)勢(shì)：強(qiáng)大的數(shù)據(jù)處理能力，特別是在使用GPU時(shí)。靈活構(gòu)建和訓(xùn)練復(fù)雜模型。豐富的預(yù)訓(xùn)練模型和教程支持。TensorFlow如下展示了如何使用TensorFlow2.x進(jìn)行簡(jiǎn)單的計(jì)算，并用matplotlib進(jìn)行可視化圖像分析軟件與工具簡(jiǎn)介03由Facebook開(kāi)發(fā)，專(zhuān)為深度學(xué)習(xí)和靈活的研究設(shè)計(jì)。動(dòng)態(tài)計(jì)算圖，便于實(shí)驗(yàn)和快速迭代。代碼簡(jiǎn)潔，易于學(xué)習(xí)和使用。強(qiáng)大的社區(qū)支持和豐富的學(xué)習(xí)資源。PyTorch定義一個(gè)簡(jiǎn)單的單層神經(jīng)網(wǎng)絡(luò)，使用隨機(jī)數(shù)據(jù)訓(xùn)練100次以最小化均方誤差損失，記錄并可視化每次迭代的損失變化。圖像分析軟件與工具簡(jiǎn)介04強(qiáng)大的開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)。支持多種編程語(yǔ)言，包括Python、C++和Java。提供超過(guò)2500種算法，廣泛應(yīng)用于圖像處理和視覺(jué)識(shí)別任務(wù)。OpenCV利用opencv改善圖像的對(duì)比度，特別是在灰度圖像中。Python圖像處理庫(kù)Pillow(PIL)特點(diǎn)：基礎(chǔ)圖像處理功能，如打開(kāi)、保存、裁剪、旋轉(zhuǎn)等。優(yōu)點(diǎn)：支持多種圖像格式，使用簡(jiǎn)單，適合基本圖像操作。Scikit-image特點(diǎn)：提供高級(jí)圖像處理功能，如圖像分割和色彩空間轉(zhuǎn)換。優(yōu)點(diǎn)：集成了一些機(jī)器學(xué)習(xí)和優(yōu)化算法，適合科學(xué)研究和復(fù)雜圖像分析。Matplotlib特點(diǎn)：主要用于數(shù)據(jù)可視化，但也支持基本圖像處理。優(yōu)點(diǎn)：可以方便地展示圖像和繪制圖表，適合數(shù)據(jù)分析和報(bào)告。NumPy特點(diǎn)：數(shù)值計(jì)算庫(kù)，常與其他庫(kù)結(jié)合用于圖像處理。優(yōu)點(diǎn)：強(qiáng)大的數(shù)組操作功能，提高處理效率，適合大規(guī)模圖像數(shù)據(jù)。OpenCV特點(diǎn)：功能全面的計(jì)算機(jī)視覺(jué)庫(kù)，支持圖像和視頻分析。優(yōu)點(diǎn)：高性能處理，支持實(shí)時(shí)視覺(jué)應(yīng)用，廣泛用于工業(yè)和研究。PyTorch&TensorFlow特點(diǎn)：深度學(xué)習(xí)庫(kù)，支持復(fù)雜的圖像分析任務(wù)如圖像分類(lèi)和對(duì)象檢測(cè)。優(yōu)點(diǎn)：強(qiáng)大的學(xué)習(xí)和預(yù)測(cè)能力，適合處理需要高級(jí)圖像識(shí)別的場(chǎng)景。SimpleCV特點(diǎn)：簡(jiǎn)單的計(jì)算機(jī)視覺(jué)庫(kù)，適合初學(xué)者和教育用途。優(yōu)點(diǎn)：易于學(xué)習(xí)和使用，支持基本的圖像捕捉和處理功能。其他庫(kù)Mahotas：科學(xué)級(jí)圖像處理，特別適合圖像分析。Imageio：簡(jiǎn)單易用的圖像讀寫(xiě)庫(kù)。Segmentation&TVTK：提供圖像分割和三維圖像處理功能。目的：使計(jì)算機(jī)不僅能識(shí)別圖像中的物體，還能理解物體間的關(guān)系、場(chǎng)景含義和預(yù)測(cè)行為。核心：從圖像中提取有意義的模式和信息，轉(zhuǎn)化為計(jì)算機(jī)可理解的形式。03圖像數(shù)據(jù)分析在經(jīng)濟(jì)管理研究中的應(yīng)用01PARTONE圖像數(shù)據(jù)分析在經(jīng)濟(jì)管理研究中的應(yīng)用視覺(jué)信息處理：利用視覺(jué)系統(tǒng)處理和提煉信息。經(jīng)濟(jì)學(xué)領(lǐng)域Li（2022）探討顯著性注意力模型（SaliencyAttentionModel,SAM）在預(yù)測(cè)消費(fèi)者初期注意力方面的有效性，并評(píng)估其在受圖像影響的經(jīng)濟(jì)決策中的應(yīng)用潛力。圖像顯著性用戶(hù)注意力分析圖像中最能吸引視覺(jué)注意力的區(qū)域。處理視覺(jué)特征（如顏色、對(duì)比度、亮度等）。收集并分析用戶(hù)在瀏覽電子商務(wù)網(wǎng)站時(shí)的視覺(jué)注意力數(shù)據(jù)（例如通過(guò)眼動(dòng)追蹤技術(shù)）。使用SAM對(duì)圖像進(jìn)行分析，預(yù)測(cè)用戶(hù)的初期注意力分布。比較SAM預(yù)測(cè)結(jié)果與實(shí)際用戶(hù)注意力數(shù)據(jù)的一致性。圖像數(shù)據(jù)分析在經(jīng)濟(jì)管理研究中的應(yīng)用情緒分析：從照片中提取情緒信息，用于預(yù)測(cè)金融市場(chǎng)反應(yīng)和投資行為。財(cái)務(wù)會(huì)計(jì)領(lǐng)域悲觀的圖像引起情緒波動(dòng)投資者過(guò)度反應(yīng)影響股票的回報(bào)率悲觀圖像影響股票收益（Birru2018）圖像數(shù)據(jù)分析在經(jīng)濟(jì)管理研究中的應(yīng)用社交媒體分析：分析社交媒體上的圖像豐富度及效價(jià)如何消費(fèi)者興趣與偏好。市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域利用深度學(xué)習(xí)訓(xùn)練圖像分類(lèi)器，研究不同類(lèi)別圖像與客戶(hù)行為和情感參與的關(guān)系（Zhaoetal.2023）。迷人的圖像粗獷的圖像健康的圖像有趣的圖像客戶(hù)情感參與客戶(hù)認(rèn)知參與圖像數(shù)據(jù)分析在經(jīng)濟(jì)管理研究中的應(yīng)用CSR圖像效價(jià)（正vs.負(fù)）×CSR圖像喚醒度（喚醒度：中度喚醒vs.高度喚醒）客戶(hù)對(duì)企業(yè)態(tài)度客戶(hù)購(gòu)買(mǎi)意向客戶(hù)CSR參與意向定義：效價(jià)（valence）描述情緒的正負(fù)屬性，即情緒體驗(yàn)是積極的還是消極的。CSR信息中的情感視覺(jué)效果如何影響信息處理的兩個(gè)子過(guò)程：編碼和存儲(chǔ)。針對(duì)四個(gè)不同的CSR問(wèn)題進(jìn)行了2*2的受試者內(nèi)實(shí)驗(yàn)。04案例01PARTONE文獻(xiàn)案例Shin,D.,He,S.,Lee,G.M.,Whinston,A.,Cetintas,S.,&Lee,K.(2020).EnhancingSocialMediaAnalysiswithVisualDataAnalytics:ADeepLearningApproach.MISQuarterly,44:1459-1492.研究背景社交平臺(tái)的廣泛用戶(hù)基礎(chǔ)使其成為企業(yè)與客戶(hù)交流的關(guān)鍵平臺(tái)。視覺(jué)內(nèi)容比文本更能迅速吸引注意力，提高信息傳達(dá)效率。視覺(jué)內(nèi)容的重要性在社交媒體上表現(xiàn)為更高的用戶(hù)互動(dòng)率和轉(zhuǎn)發(fā)率。主要理論和研究邏輯精細(xì)可能性模型（ELM）:使用ELM理論探討視覺(jué)內(nèi)容如何通過(guò)吸引注意力和促進(jìn)深入思考來(lái)提高廣告效果。視覺(jué)線索的作用:外圍路徑通過(guò)視覺(jué)吸引力影響廣告效果，中心路徑通過(guò)圖像復(fù)雜性增加信息處理需求。視覺(jué)內(nèi)容與文本內(nèi)容的互動(dòng):圖文一致性和相似性對(duì)信息處理和消費(fèi)者行為有直接影響。文獻(xiàn)案例數(shù)據(jù)分析和主