0引言近年來，航空領(lǐng)域大量應(yīng)用了大數(shù)據(jù)和人工智能技術(shù)，如基于大數(shù)據(jù)機器學習的航空人為因素在航空事故調(diào)查中的影響研究、基于MI-SVR模型研究航空旅客出行指數(shù)預測的方法、基于長短時記憶網(wǎng)絡(luò)（LongShort-TermMemory）的航班預售期內(nèi)每日訂座數(shù)預測研究等，采用大數(shù)據(jù)和人工智能算法解決航空領(lǐng)域內(nèi)的故障預測、航空旅客出行指數(shù)預測、航班行程人數(shù)預測等問題。天氣因素、人均收入和其他出行數(shù)據(jù)（高鐵出行、長途汽車等）將對其預測的準確性產(chǎn)生極大影響。如何綜合多行業(yè)數(shù)據(jù)進行精準預測是目前人工智能技術(shù)應(yīng)用到航空領(lǐng)域亟需解決的問題。人工智能（ArtificalIntelligence，AI）技術(shù)是在多維度、全方位分析數(shù)據(jù)的基礎(chǔ)上，根據(jù)特定的應(yīng)用目標采集其中有用的特征進行訓練、學習，最后實現(xiàn)應(yīng)用智能化的目標。隨著大數(shù)據(jù)、機器視覺檢測、超級計算、可穿戴設(shè)備等技術(shù)的逐步普及應(yīng)用，人工智能技術(shù)得到了快速發(fā)展并取得了顯著的成果。如特斯拉推出的自動駕駛汽車、谷歌AlphaGo機器人等。人工智能技術(shù)應(yīng)用的基礎(chǔ)就是數(shù)據(jù)的采集、處理、計算。因此需要很多應(yīng)用系統(tǒng)支持對數(shù)據(jù)進行自動收集挖掘、整合分析，從而作出支持計算的行為決策，即人工智能技術(shù)嚴格依賴數(shù)據(jù)采集。然而在目前的發(fā)展過程中，數(shù)據(jù)采集和處理的過程中存在以下兩個問題：（1）數(shù)據(jù)孤島問題：目前，大多數(shù)企業(yè)存儲的數(shù)據(jù)通常局限于本企業(yè)經(jīng)營產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，往往存在數(shù)據(jù)規(guī)模有限、數(shù)據(jù)質(zhì)量良莠不齊的問題。另外，由于行業(yè)競爭、隱私保護等問題，造成了數(shù)據(jù)難以在不同的系統(tǒng)之間共享、整合的問題，導致整個互聯(lián)網(wǎng)范圍內(nèi)的數(shù)據(jù)都是按照不同的應(yīng)用彼此分離、單點存在的。由于人工智能技術(shù)往往基于多個領(lǐng)域，需要的數(shù)據(jù)覆蓋范圍廣，不同應(yīng)用之間無法共享數(shù)據(jù)，使得其要求的多領(lǐng)域的特點很難被滿足，也即單個系統(tǒng)擁有的數(shù)據(jù)無法為人工智能技術(shù)的開展提供有力的支持。對于每個企業(yè)的應(yīng)用系統(tǒng)而言，其花費了大量的成本部署數(shù)據(jù)采集、清洗、轉(zhuǎn)換等應(yīng)用，但是數(shù)據(jù)可能僅僅局限于自身系統(tǒng)使用，無法在整個互聯(lián)網(wǎng)范圍內(nèi)高效地共享進而轉(zhuǎn)換為更廣泛的應(yīng)用。這一方面無疑是對互聯(lián)網(wǎng)數(shù)據(jù)資源的一種浪費，另一方面不同應(yīng)用系統(tǒng)間的數(shù)據(jù)壁壘也導致大范圍級別的數(shù)據(jù)應(yīng)用，比如人工智能技術(shù)在各行各業(yè)的應(yīng)用變得成本更加高昂、實施也更加困難。（2）隱私保護問題：最近幾年，隨著各種網(wǎng)絡(luò)新應(yīng)用的不斷涌現(xiàn)，應(yīng)用對應(yīng)的用戶數(shù)據(jù)如何合理采集、安全傳輸、存儲和處理變得愈來愈重要。一旦用戶數(shù)據(jù)發(fā)生泄漏，都會引起社會的強烈譴責，甚至會對應(yīng)用造成嚴重的信任危機。如2018年3月，英國一家名為劍橋分析的公司獲取了數(shù)千萬條臉書注冊用戶的個人信息。由于涉及的用戶人數(shù)眾多、數(shù)據(jù)種類廣泛、數(shù)據(jù)內(nèi)容繁多，此次數(shù)據(jù)泄露在世界范圍內(nèi)引起了抵制使用臉書的抗議活動。與此同時，針對用戶數(shù)據(jù)隱私和安全管理的監(jiān)管也在逐漸變得更為嚴格。國際上，2018年5月起歐盟開始正式出臺《通用數(shù)據(jù)保護條例》（GeneralDataProtectionRegulation，GDPR）法案。國內(nèi)在更早的2017年6月開始推行《網(wǎng)絡(luò)安全法》，也在2019年5月開始實施《數(shù)據(jù)安全管理辦法（征求意見稿）》。上述法案對應(yīng)用系統(tǒng)采集、傳輸、使用數(shù)據(jù)整個過程的安全規(guī)范都有明確規(guī)定，如未經(jīng)數(shù)據(jù)平臺方的允許，任何第三方不得隨意抓取、使用數(shù)據(jù)平臺方的數(shù)據(jù)，以及未經(jīng)用戶同意不得隨意將敏感類數(shù)據(jù)分享給第三方。一旦違反將會面臨巨額罰款甚至需要承擔法律責任。上述多項監(jiān)管措施，使得在沒有得到用戶充分授權(quán)的情況下，單個應(yīng)用采集數(shù)據(jù)及不同應(yīng)用間數(shù)據(jù)整合面臨重重阻力，這為人工智能領(lǐng)域傳統(tǒng)的數(shù)據(jù)獲取模式帶來了新的巨大的挑戰(zhàn)。上述數(shù)據(jù)孤島和隱私保護問題廣泛存在，并且兩者存在相互制衡的關(guān)系，制約了數(shù)據(jù)的廣泛采集、共享和進一步的應(yīng)用及人工智能技術(shù)的發(fā)展。如何在保護隱私安全、滿足法律監(jiān)管要求的前提下，設(shè)計一個全新的機器學習框架，達到整合多方數(shù)據(jù)、跨界共同建模，共同受益的目標，這是近年來數(shù)據(jù)安全領(lǐng)域和人工智能領(lǐng)域發(fā)展的一個重要課題?；谌斯ぶ悄芗夹g(shù)的航空出行數(shù)據(jù)預測需要在整合多方數(shù)據(jù)的基礎(chǔ)上作出分析、決策，因此首先要解決上述的數(shù)據(jù)孤島和隱私保護兩個問題。本文提出一種全新的基于聯(lián)邦學習的航空出行預測算法，其設(shè)計目標是在滿足數(shù)據(jù)安全的前提下，采用人工智能技術(shù)提高航空公司出行數(shù)據(jù)預測的正確率。1聯(lián)邦學習背景本聯(lián)邦學習（FederatedLearning）是為應(yīng)對人工智能實際應(yīng)用時面對的數(shù)據(jù)隱私保護問題而誕生的一種全新的人工智能學習框架。其最早由Google公司在2016年提出，核心目標是使各個參與者在無需直接交換數(shù)據(jù)的前提下，實現(xiàn)數(shù)據(jù)在多個節(jié)點之間進行聯(lián)合訓練，達到建立共享的、全局有效的人工智能學習模型的目地?；诼?lián)邦學習框架的人工智能模型的訓練流程為：（1）在遠程云上建立一個協(xié)調(diào)者，該協(xié)調(diào)者首先生成初始的全局數(shù)據(jù)模型；（2）在第

i

輪訓練過程中，每個參與者基于全局數(shù)據(jù)模型和本地保存的數(shù)據(jù)對本地人工智能模型進行訓練；（3）本地模型迭代更新后，根據(jù)某種加密通信機制，客戶端將該模型參數(shù)傳輸?shù)絽f(xié)調(diào)者；（4）協(xié)調(diào)者聚合每個參與者上傳的數(shù)據(jù)并進行訓練以構(gòu)建全局模型；（5）重復上述步驟，直到全局模型參數(shù)收斂。相對于傳統(tǒng)的人工智能學習框架，聯(lián)邦學習的典型特點是：訓練過程無需共享數(shù)據(jù)，通過加密機制下的參數(shù)交換方式，在不會泄露用戶隱私或違反監(jiān)管條例的前提下，在云上建立一個虛擬的共有模型并對其進行訓練更新。這些特點，充分整合了各個孤立數(shù)據(jù)源，匯聚多維度數(shù)據(jù)形成一個數(shù)據(jù)聯(lián)邦，各個參與者都可從其中獲益，真正實現(xiàn)了合作共贏。另外，多個參與者的數(shù)據(jù)始終保留在本地，無需上傳共享，參與者之間也無法相互推測出對方擁有的特征，數(shù)據(jù)隱私也得到很好的保護。聯(lián)邦學習的理念自提出以來，就受到了極大的關(guān)注，多家企業(yè)參與到研發(fā)聯(lián)邦學習的框架中，如谷歌的TensorflowFederated（TFF）框架目前已較好的支持了橫向聯(lián)邦學習，并支持用戶自定義模型訓練算法。OpenMided開源的Pysyft框架，提供了多種安全加密算法，為隱私保護提供更強有力的保證。國內(nèi)的騰訊公司也推出了FATE框架，該框架率先在其內(nèi)部的微眾銀行平臺得到應(yīng)用，在工業(yè)產(chǎn)品中驗證了其高效性。另外，基于聯(lián)邦學習框架的成熟的人工智能產(chǎn)品近來也不斷涌現(xiàn)。Google在Android的GoogleGboard鍵盤中，采用了橫向聯(lián)邦學習技術(shù)，根據(jù)設(shè)備上的歷史記錄，在下一次迭代中改進輸入法預測模型的性能。Gboard主要會根據(jù)使用者已輸入的單詞推薦即將使用的下一個單詞，以此來加快使用者的打字速度。據(jù)計算，Gboard輸入法聯(lián)想詞預測準確率增加24%，聯(lián)想詞條點擊率增加10%。正如其宣傳語所言，Gboard實現(xiàn)了你的數(shù)據(jù)就在你手機本地，Google輸入法只是用它的目標。Nvidia與倫敦King'sCollege合作，利用聯(lián)盟學習方式，開發(fā)醫(yī)療影像的人工智慧系統(tǒng)。該系統(tǒng)只需從每個終端裝置傳送分析結(jié)果到中央模型就能訓練。至于訓練出的人工智慧系統(tǒng)，將運用在腦腫瘤分割分析。此過程不會泄漏病人任何隱私數(shù)據(jù)，對提升醫(yī)療結(jié)構(gòu)用戶體驗有很大幫助。阿里巴巴利用聯(lián)邦學習技術(shù)，推出螞蟻金服共享學習平臺，破解了電商數(shù)據(jù)共享和隱私保護難以平衡的難題，實現(xiàn)數(shù)據(jù)的多方協(xié)同和授權(quán)共享，應(yīng)用在智能信貸、智能風控等專業(yè)領(lǐng)域中。聯(lián)邦學習不斷發(fā)展的過程中，必然會有越來越多的領(lǐng)域從此項技術(shù)中獲益。以航空出行領(lǐng)域應(yīng)用為例，雖然人工智能技術(shù)應(yīng)用越來越廣泛，目前也有多家航空企業(yè)推出了基于人工智能技術(shù)的出行預測服務(wù)，但目前各個企業(yè)之間的內(nèi)容安全服務(wù)和數(shù)據(jù)都是獨立的，在數(shù)據(jù)不能互通的情況下，各家企業(yè)的數(shù)據(jù)資源非常有限。另外，并沒有成功借鑒具有重要參考價值的鐵路出行數(shù)據(jù)，以及部分用戶消費App數(shù)據(jù)。這些原因?qū)е潞娇粘鲂蓄A測模型的效果不盡人意，要實現(xiàn)跨企業(yè)、行業(yè)甚至跨應(yīng)用等多機構(gòu)的整體安全協(xié)同治理也很困難。聯(lián)邦學習可直擊這些航空企業(yè)的痛點，幾近完美地解決存在的問題。綜合來看，聯(lián)邦學習破解了數(shù)據(jù)隱私保護的難題，另外為人工智能技術(shù)的發(fā)展提供了全新的模型框架，對于數(shù)據(jù)安全和人工智能領(lǐng)域的不斷發(fā)展和技術(shù)落地都有很重要的意義。2聯(lián)邦學習原理2.1聯(lián)邦學習數(shù)學模型聯(lián)邦學習的目標就是通過使用全新的訓練模式使其訓練效果超越傳統(tǒng)的機器學習模型，在具體的數(shù)學數(shù)據(jù)模型為：2.2聯(lián)邦學習數(shù)學模型聯(lián)邦學習根據(jù)參與者的數(shù)據(jù)的特征分類為橫向聯(lián)邦學習（HorizontalFedetatedLearning，HFL）、縱向聯(lián)邦學習（VerticalFedetatedLearning，VFL）和聯(lián)邦遷移學習（FedetatedTransferLearning，F(xiàn)TL）三類。2.2.1橫向聯(lián)邦學習橫向聯(lián)邦學習適用于特征（Features）重疊性高且用戶（Samples）樣本重疊少時的情境。在這種情況下，將數(shù)據(jù)集按照用戶維度進行切分，并對不同用戶的特征取交集進行計算。比如不同地區(qū)的航空公司，他們的業(yè)務(wù)相似（特征相似），但客戶不同（樣本不同）。橫向聯(lián)邦學習適用場景如圖1所示：圖1橫向聯(lián)邦學習適用場景橫向聯(lián)邦學習過程如圖2所示，具體為：（1）每個參與者（DatabaseBi）利用自己的資料訓練模型，各自計算梯度，再將加密過的梯度修正量上傳至中央服務(wù)器（Sever）；（2）由中央服務(wù)器整合各參與者的梯度并且更新模型；（3）中央服務(wù)器回傳模型更新后的梯度給各個參與者；（4）參與者更新各自的模型。圖2橫向聯(lián)邦學習過程橫向聯(lián)邦學習是聯(lián)邦學習架構(gòu)中最典型的一種，目前由于其架構(gòu)簡單，實用性高，因此也被運用的最為廣泛。2.2.2縱向聯(lián)邦學習縱向聯(lián)邦學習適用于樣本（Samples）重疊多且特征（Features）重疊少的情境。在這種情況下，將數(shù)據(jù)集按照特征維度進行切分，對相同用戶的特征差集進行計算。比如同一地區(qū)的航空公司的客運和傳媒，他們接觸的客戶都為該航班的旅客（樣本相同），但業(yè)務(wù)不同（特征不同）?？v向聯(lián)邦學習適用場景如圖3所示：圖3縱向聯(lián)邦學習適用場景縱向聯(lián)邦學習過程如圖4所示，具體為：（1）協(xié)調(diào)者（Collaborator，C）將公鑰發(fā)給參與者A和參與者B；（2）參與者A和B分別計算和自己相關(guān)的特征中間結(jié)果，并加密交互，用來求得各自梯度和損失值（Loss）；（3）參與者A和B分別將計算后且加密的梯度修正量傳送給協(xié)調(diào)者，同時B根據(jù)標簽計算損失值并把結(jié)果匯整給協(xié)調(diào)者；協(xié)調(diào)者將解密后的梯度修正量分別回傳給A和B，更新雙方的模型。圖4縱向聯(lián)邦學習過程縱向聯(lián)邦學習雖然解決特征重疊少的問題，但是隨著參與端增多，其對應(yīng)的架構(gòu)復雜度就會增加，相對更難以執(zhí)行。2.2.3聯(lián)邦遷移學習聯(lián)邦遷移學習適用于當多個參與者的數(shù)據(jù)的特征（Features）和樣本（Samples）重疊都很少的情境。在這種狀況下，就不會針對數(shù)據(jù)進行切割，而會引入遷移式學習（TransferLearning）來克服資料與標簽不足的狀況。比如不同國家的航空公司和航空傳媒公司，由于地理位置相差遙遠，他們的用戶群體交集很小。另外，由于處理的業(yè)務(wù)不同，二者擁有的數(shù)據(jù)特征也大相徑庭。聯(lián)邦遷移學習適用場景如圖5所示：圖5聯(lián)邦遷移學習適應(yīng)的場景針對不同的場景，需要的遷移學習算法不同，因此聯(lián)邦遷移學習并沒有統(tǒng)一的學習過程。3基于聯(lián)邦學習的航空出行預測優(yōu)化算法3.1模型原理本文提出了面向數(shù)據(jù)隱私保護的聯(lián)邦學習航空出行預測技術(shù)，在引入其他行業(yè)或公司數(shù)據(jù)（如居民收入數(shù)據(jù)、高鐵出行數(shù)據(jù)和第三方App應(yīng)用數(shù)據(jù)）大大提高航空領(lǐng)域出行預測準確率的情況下，同時解決了交通出行領(lǐng)域多行業(yè)、跨行業(yè)數(shù)據(jù)共享的安全性問題。算法框架如圖6所示：圖6聯(lián)邦遷移學習應(yīng)用領(lǐng)域其主要步驟為：（1）航空公司A和航空公司B之間采用橫向聯(lián)邦學習，提取共同的出行參數(shù)，如用戶搜索記錄、訪問時間、航班預訂記錄、航空優(yōu)惠信息等，最終經(jīng)過訓練形成航空出行模型A；（2）航空公司和高鐵集團之間采用縱向聯(lián)邦學習，提取多維度特征參數(shù)指標和同用戶訓練樣本，綜合考察同一個用戶的航空訪問信息和高鐵查詢記錄，與高鐵模型B經(jīng)過聯(lián)合模型訓練后形成出行模型C；（3）航空公司和第三方應(yīng)用App之間（如酒店預訂、旅游類等消費App），由于參與者的數(shù)據(jù)的特征（Features）和樣本（Samples）重疊都很少，因此采用聯(lián)邦遷移學習算法進行聯(lián)合調(diào)參。消費模型D與出行模型E，經(jīng)過計算融合，最終形成航空出行預測模型E；（4）在出行模型、消費模型以及最終的航空出行預測模型對應(yīng)的參數(shù)收斂之前，需要反向更新各模型的參數(shù)，以達到不斷迭代的目的。上述基于聯(lián)邦學習模型的航空預測模型中，還需要考慮模型參數(shù)在正向和反向傳遞過程中的安全性問題。綜合考慮數(shù)據(jù)安全性及應(yīng)用場景的特點，該模型采用非對稱密鑰的方式進行加密。非對稱加密算法使用私鑰進行信息加密，公鑰對加密信息解密。以航空出行模型A與高鐵出行模型B進行橫向聯(lián)邦學習的過程舉例，具體使用方式為：（1）航空出行模型A與高鐵出行模型B分別用其對應(yīng)的私鑰加密模型的各項參數(shù)，并各自將模型參數(shù)傳送給出行模型C；（2）出行模型C用事先約定好的公鑰對收到的加密參數(shù)進行解密，并驗證發(fā)送者的身份，如果驗證通過，則模型C更新對應(yīng)的輸入?yún)?shù)。3.2實驗結(jié)果對比與分析3.2.1聯(lián)邦學習與分布式機器學習對比當前，大規(guī)模機器學習模型在訓練過程中存在對單個機器節(jié)點計算能力的要求超出其實際存儲和計算上限的問題。針對這個問題，目前業(yè)界通用的解決辦法是使用分布式機器學習系統(tǒng)。分布式機器學習系統(tǒng)通過采用數(shù)據(jù)并行、模型并行等方式，對數(shù)據(jù)訓練集或者學習模型進行模塊劃分，利用分布式集群來實現(xiàn)完成大規(guī)模甚至超大規(guī)模機器學習目標。其中數(shù)據(jù)并行是分布式機器學習最常用的解決方法，數(shù)據(jù)并行指的是在分布式集群的每一個計算節(jié)點上保有相同的模型，然后將大量的數(shù)據(jù)分拆成不同的子集，各個計算節(jié)點負責一個數(shù)據(jù)子集的計算，在節(jié)點之間同步梯度、并更新模型參數(shù)。該方法實現(xiàn)過程簡單，但在數(shù)據(jù)劃分時需要事先在全局范圍內(nèi)共享數(shù)據(jù)，存在IO開銷大、數(shù)據(jù)隱私無法保證兩個問題。聯(lián)邦學習與分布式機器學習有相似的地方，即都充分利用了分布式節(jié)點的計算、存儲能力。但是聯(lián)邦學習的具體學習過程中，最典型的特點是每個節(jié)點可在不共享資料的前提下，達到同樣的訓練模型的目標。這樣帶來的好處一方面減少了數(shù)據(jù)帶來的網(wǎng)絡(luò)、IO開銷，另一方面不泄漏用戶隱私得到保護，滿足日益嚴格的安全監(jiān)管規(guī)范。聯(lián)邦學習與分布式機器學習在數(shù)據(jù)處理、學習過程、額外優(yōu)勢方面的具體對比如表1所示：邏輯回歸模型（LogisticRegressionModel）是目前廣泛應(yīng)用的一種機器學習算法，它通過將數(shù)據(jù)擬合到一個邏輯函數(shù)中，較大影響的因素分配高權(quán)重，完成對事件發(fā)生概率的預測。本文對比實驗使用基于邏輯回歸模型的分布式機器學習算法對相同的數(shù)據(jù)進行分析預測，以對比不同算法的優(yōu)劣。3.2.2實驗結(jié)果分析本文主要應(yīng)用Spark分析平臺對出行數(shù)據(jù)進行分析預測，具體的實驗環(huán)境如表2所示：采用本文所提出的算法與傳統(tǒng)基于邏輯回歸模型的分布式機器學習算法對多個數(shù)量級的旅客信息出行分析，并以此為基礎(chǔ)，分別對未來一周、一個月和三個月內(nèi)的出行人數(shù)進行預測，算法預測的準確率分別如圖7、圖8和圖9所示，其中橫坐標軸代表分析的數(shù)據(jù)人數(shù)總量，縱坐標代表使用兩種算法分別計算出的預測正確率。圖7模型預測準確率一周對比情況圖8模型預測準確率一個月對比情況圖9模型預測準確率三個月對比情況從上圖算法準確率對比圖中可以看出：（1）在相同預測時間范圍、相同數(shù)據(jù)規(guī)模的情況下，基于聯(lián)邦學習預測算法的預測正確率均高于傳統(tǒng)的基于邏輯回歸模型的分布式機器學習算法，準確率最大差異可達14.5%（預測周期為一個月，人群數(shù)據(jù)規(guī)模為100萬時），體現(xiàn)出了基于聯(lián)邦學習預測算法的優(yōu)越性。（2）在預測未來相同時間范圍內(nèi)的出行數(shù)據(jù)時，隨著人群數(shù)據(jù)從1萬到1000萬過程中，兩種算法的計