1、 浪潮NF5568M4助力猿題庫深度學習應用 浪潮NF5568M4助力猿題庫深度學習應用客戶信息猿題庫網(wǎng)站：/組織規(guī)模：行業(yè)：摘要項目背景浪潮倚天系列產(chǎn)品NF5568M4基于最新IntelHaswellEP-2600V3平臺，用于構(gòu)建面向GPU異構(gòu)超算、Intel MIC微異構(gòu)計算及NVidia Grid虛擬工作站解決方案。 浪潮倚天超算提供優(yōu)異的計算性能、穩(wěn)定的可靠性以及超高IO擴展能力，適用于生命科學、數(shù)據(jù)分析、金融計算、量化計算、石油能源、氣候氣象、工程科學、可視化、互聯(lián)網(wǎng)深度學習、機器學習等應用領(lǐng)域，以及高端虛擬工作站應用。項目分析猿題庫是中國首個智能在線題庫服務(wù)提供商，基于大數(shù)據(jù)應用

2、的在線教育平臺。2013年2月，在線教育平臺粉筆網(wǎng)推出新產(chǎn)品猿題庫()，猿題庫提供了一個革命性的學習產(chǎn)品。提供歷年考試最權(quán)威真題供考生練習，還能根據(jù)考生的水平一對一智能出題考生只要在猿題庫上開始答題練習，系統(tǒng)就會清晰的告訴他當前的能力水平、他的薄弱考點有哪些、如果參加今年考試預計能得多少分以及接下來需要做什么題目。相對于傳統(tǒng)的復習備考，這種在線智能做題的備考方式將大幅提升復習效率和效果。這是猿題庫基于大數(shù)據(jù)的分析及人工智能算法等多項專利技術(shù)而實現(xiàn)的。業(yè)務(wù)應用猿題庫需要采購高性能，高效，穩(wěn)定的服務(wù)器，可以提供高性能的并行計算能力，作為其深度學習模型訓練和人工智能應用的核心IT硬件。猿題庫深度學習

3、訓練和應用模型主要分為兩種:卷積神經(jīng)網(wǎng)絡(luò)模型和遞歸神經(jīng)網(wǎng)絡(luò)模型，這兩種神經(jīng)網(wǎng)絡(luò)法都是參考人類神經(jīng)網(wǎng)絡(luò)的仿生學計算方法，將大量的數(shù)據(jù)源通過神經(jīng)網(wǎng)絡(luò)法計算之后得到符合需求的模型為最終的使用提供服務(wù)。在模型訓練及應用階段面臨大量的技術(shù)問題的挑戰(zhàn)，總結(jié)下來至少有以下幾個方面：1）每天千萬張級別的圖片搜索請求；2）每天十個億級別的ORC識別（將圖像轉(zhuǎn)換為計算機文字的過程）；3）數(shù)理化復雜公式的識別4）手寫內(nèi)容識別5）模糊/扭曲/明暗圖片問題的修正對于圖像轉(zhuǎn)換為文字的過程大概分為：圖像預處理，圖像切分，匹配，糾錯和搜索。對于這幾個問題里最大的挑戰(zhàn)在于手寫內(nèi)容的識別和復雜公式的識別。由于每個人的手寫習慣不同

4、，識別手寫體成為了圖像預處理和切分之后首先要面臨的挑戰(zhàn)，通過大量的樣本找到手寫習慣的共同特征，如習慣向右傾斜著寫或者中文之間沒有空格等。然而不管是在基礎(chǔ)教育階段，還是高等教育階段，數(shù)學總是讓人覺得永無止境的難度學科。所以，在搜題請求里，有超過一半的搜索請求都是與數(shù)學有關(guān)，這就意味著有大量的復雜公式需要識別，比如根號，、分式、上下標的各種組合。這不僅要進行正確的切分，還需要有合理的匹配識別。方案概述詳細解決方案根據(jù)對客戶需求的分析，為了實現(xiàn)并行計算的高性能、高可靠、高可用的特性，提高深度模型訓練速、效果和線上服務(wù)的穩(wěn)定可靠，降低日常運維成本，我們采用NF5568M4作為其人工智能應用的基礎(chǔ)硬件平

5、臺。NF5568M4是專為計算而設(shè)計的超算服務(wù)器，最大化精簡了不必要的功能，并針對高性能并行計算增加相應的功能和優(yōu)化，為用戶提供了更為穩(wěn)定、可靠的計算平臺。產(chǎn)品優(yōu)勢:(1)支持GPGPU異構(gòu)計算架構(gòu)倚天超算引入GPU計算單元,突破了單一CPU計算單元的限制,采用Intel最新Haswell處理器與NVIDIA GPU加速計算技術(shù)的協(xié)同,CPU和GPU協(xié)同計算,CPU主要承擔更加擅長的邏輯選擇、判斷跳轉(zhuǎn)和IO通信方面的職責,而GPU則專職計算密集型、高度并行的計算工作,使得計算資源合理的分配,計算力被充分釋放,計算性能達到從幾倍到幾百倍的增長.(2)支持Intel MIC微異構(gòu)倚天超算引入MIC

6、微異構(gòu)計算單元,微異構(gòu)計算單元保持了與CPU編程的最大復用.至強處理器是傳統(tǒng)多核心CPU,而至強融核協(xié)處理器MIC則擁有眾多的微內(nèi)核,這些內(nèi)核與CPU擁有相同的x86架構(gòu),可以在相同的編程環(huán)境下,甚至幾乎不用改動原有代碼就可以在系統(tǒng)上順利運行.(3)支持基于Grid技術(shù)的虛擬工作站倚天超算是構(gòu)建高性能虛擬工作站的基礎(chǔ)平臺,將Nvidia Grid技術(shù)、虛擬桌面技術(shù)完美融合于浪潮倚天產(chǎn)品,給桌面提供專業(yè)的圖形計算支持,并通過云端隨時隨地無縫地提供給任意設(shè)備,用戶不僅得以充分體驗安全、可管理、靈活的虛擬化優(yōu)勢,更能尊享媲美本地體驗的互動性能.(4)協(xié)調(diào)處理單元間高速IO交換技術(shù)浪潮倚天為加速卡提供

7、高速PCI-E3.0連接, 確保所有板卡在全速IO速率運行.相對于傳統(tǒng)PCI總線在單一時間周期內(nèi)只能實現(xiàn)單向傳輸,PCI-E的雙單工連接能提供更高的傳輸速率和質(zhì)量,它們之間的差異與半雙工和全雙工類似.浪潮倚天采用了PCI-E 3.0 x16,帶寬達到32GB/s.(5)采用Intel最新的QPI技術(shù)為了更好的發(fā)揮CPU和GPU的協(xié)同效應,浪潮“倚天”桌面超級計算機采用了Intel 公司的QPI(Quick Path Interconnect)技術(shù),最大可以實現(xiàn)高達9.6GT/s的傳輸速率,使通信更加迅捷.QPI總線實現(xiàn)了多核處理器內(nèi)部的直接互聯(lián),在多處理器作業(yè)下,每顆處理器可以互相傳送資料,并

8、不需要經(jīng)過芯片組,從而大幅提升整體系統(tǒng)性能.(6)CUDA編程環(huán)境在GPU環(huán)境下,采用CUDA(Compute Unified Device Architecture)通用并行計算架構(gòu)使GPU能夠解決復雜的計算問題.它包含了CUDA指令集架構(gòu)(ISA)以及GPU內(nèi)部的并行計算引擎.開發(fā)人員現(xiàn)在可以使用C語言來為CUDA架構(gòu)編寫程序,C語言是應用最廣泛的一種高級編程語言.(7)微異構(gòu)編程環(huán)境在MIC微異構(gòu)環(huán)境下,采用與Intel通用編程環(huán)境相同的編譯環(huán)境,可以采用Intel Cluster Studio工具包進行統(tǒng)一軟件環(huán)境的安裝、調(diào)試等工作.Intel Cluster Studio工具包括了C

9、/C+/Fortran編譯器、MKL數(shù)學庫、MPI通訊庫、Inspector線程檢查工具、Vtune調(diào)優(yōu)工具等.客戶收益可靠&安全：深度學習模型訓練及應用支持，是在大量數(shù)據(jù)源在并行算法下進行多層次、連續(xù)性迭代計算的應用。并行計算平臺的穩(wěn)定和安全是整個深度學習計算能否完成的必備保障，是人工智能能力的關(guān)鍵組成部分，是典型的關(guān)鍵性應用。浪潮NF5568M4通過最全面的實際測試和大量的行業(yè)應用，并經(jīng)過嚴格的測試和驗證，實時監(jiān)控保障系統(tǒng)7*24小時不間斷的運行。NF5568M4在上一代互聯(lián)網(wǎng)行業(yè)大客戶占有率100%的NF5588M3基礎(chǔ)上進行全方位優(yōu)化升級，進一步提高單機并行計算能力，降低了每計算核心TCO。高效&經(jīng)濟GPU卡的密集程度從某種程度上影響著深度學習的效果，在一開始我們就為猿題庫提供了業(yè)內(nèi)GPU密集度最高的NF5568M4超算服務(wù)器。在相同CPU計算能力下，該服務(wù)器的GPU配置數(shù)量比業(yè)內(nèi)平均水平高出50%，并且最高支持的單卡計算能力比業(yè)內(nèi)主流水準高出50%。在每臺機器均具有“一機多卡”的GP