(10)申請(qǐng)公布號(hào)CN120196560A(71)申請(qǐng)人芯方舟(上海)集成電路有限公司地址201203上海市浦東新區(qū)盛夏路169號(hào)A棟902室(72)發(fā)明人段帥君李瑞趙瑞勇(74)專利代理機(jī)構(gòu)上海十蕙一蘭知識(shí)產(chǎn)權(quán)代理有限公司31331(54)發(fā)明名稱用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器及內(nèi)存系統(tǒng)本發(fā)明屬于半導(dǎo)體技術(shù)領(lǐng)域，具體涉及一種用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器及內(nèi)存系統(tǒng)。其中用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制心之間的地址映射；命令翻譯模塊，用于將主機(jī)線、片上總線與DRAM之間的數(shù)據(jù)流；多模式狀態(tài)機(jī)，用于根據(jù)主機(jī)發(fā)送的不同內(nèi)存命令動(dòng)態(tài)切換于根據(jù)地址映射命令或數(shù)據(jù)路由選擇DRAM的訪問(wèn)空間。本發(fā)明通過(guò)動(dòng)態(tài)切換內(nèi)存與計(jì)算模式，智能內(nèi)存處理單元智能內(nèi)存處理單元雙模式計(jì)算內(nèi)存控制器塊平全主流根明2模式計(jì)算內(nèi)存控制器包括：地址轉(zhuǎn)換模塊，用于處理主機(jī)與PIM核心之間的地址映射；命令生成模塊，分別連接所述地址轉(zhuǎn)換模塊和所述命令翻譯模塊，用于生成地址映射數(shù)據(jù)翻譯模塊，用于管理DDR總線、片上總線與DRAM之間的數(shù)據(jù)流；多模式狀態(tài)機(jī)，分別連接所述地址轉(zhuǎn)換模塊、所述命令翻譯模塊、所述命令生成模塊和所述數(shù)據(jù)翻譯模塊，用于根據(jù)主機(jī)發(fā)送的不同內(nèi)存命令將所述雙模式計(jì)算內(nèi)存控制器動(dòng)態(tài)切換為內(nèi)存模式或PIM模式；雙模式計(jì)算訪問(wèn)模塊，分別連接所述命令生成模塊和所述數(shù)據(jù)翻譯模塊，用于根據(jù)所2.如權(quán)利要求1所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器，其特征在于，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為內(nèi)存模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)通過(guò)標(biāo)準(zhǔn)DDR命令訪問(wèn)并將數(shù)據(jù)寫(xiě)入DRAM主存空間中的單個(gè)DRAMbank。3.如權(quán)利要求1或2所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器，其特征在于，所述PIM模式包括全存儲(chǔ)體模式和全存儲(chǔ)體PIM模式；當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)配置和編程PIM核心的參數(shù)寄存器；當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體PIM模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許PIM核心訪問(wèn)并將數(shù)據(jù)寫(xiě)入DRAM中的計(jì)算內(nèi)存空間。4.如權(quán)利要求3所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器，其特征在于，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)將靜態(tài)權(quán)重?cái)?shù)據(jù)寫(xiě)入，并將相同的PIM核心程序并行加載到所有處理單元中，從而提高配置效率。5.如權(quán)利要求4所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器，其特征在于，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)通過(guò)單一內(nèi)存事務(wù)同時(shí)訪問(wèn)一個(gè)內(nèi)存通道中的所有DRAMbank以用于并行配置PIM核心，所述雙模式計(jì)算內(nèi)存控制器將主機(jī)發(fā)出的內(nèi)存命令、行地址和列地址廣播到一個(gè)內(nèi)存通道中的所有DRAMbank,從而實(shí)現(xiàn)同步操作。6.如權(quán)利要求3所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器，其特征在于，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體PIM模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)通過(guò)單一內(nèi)存事務(wù)同時(shí)訪問(wèn)一個(gè)內(nèi)存通道中的所有DRAMbank以及并行執(zhí)行已編程的PIM核心。7.一種內(nèi)存系統(tǒng)，其特征在于，所述內(nèi)存系統(tǒng)包括至少一個(gè)智能內(nèi)存處理單元，所述智能內(nèi)存處理單元包括3D堆疊的DRAM存儲(chǔ)層與邏輯計(jì)算層，所述智能內(nèi)存處理單元內(nèi)的內(nèi)存控制器；3所述內(nèi)存控制器采用如權(quán)利要求1至6中任意一項(xiàng)所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器。4技術(shù)領(lǐng)域[0001]本發(fā)明屬于半導(dǎo)體技術(shù)領(lǐng)域，具體涉及一種用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器及內(nèi)存系統(tǒng)。背景技術(shù)[0002]PIM-DRAM是一種將計(jì)算單元集成到DRAM內(nèi)存中的技術(shù)，旨在減少數(shù)據(jù)傳輸?shù)难舆t和提高計(jì)算效率。這種技術(shù)通過(guò)減少數(shù)據(jù)在存儲(chǔ)和處理器之間的傳輸次數(shù)，從而降低延遲并提高效率。[0003]現(xiàn)有PIM-DRAM架構(gòu)的內(nèi)存控制器無(wú)法在傳統(tǒng)存儲(chǔ)模式(也稱MemoryMode即內(nèi)存模式)與計(jì)算模式(也稱PIMMode即PIM模式)間高效切換，也無(wú)法同時(shí)支持主機(jī)訪問(wèn)與計(jì)算單元的并行操作，導(dǎo)致兼容性差或計(jì)算效率低下，限制了靈活性。同時(shí)，現(xiàn)有PIM-DRAM架構(gòu)的內(nèi)存控制器缺乏對(duì)多bank同步操作的支持，限制了大規(guī)模并行計(jì)算能力。而在PIM模式下需頻繁切換內(nèi)存狀態(tài)，導(dǎo)致延遲增加。發(fā)明內(nèi)容[0004]本發(fā)明針對(duì)現(xiàn)有的PIM-DRAM架構(gòu)的內(nèi)存控制器無(wú)法在傳統(tǒng)存儲(chǔ)模式與計(jì)算模式間高效切換的技術(shù)問(wèn)題，目的在于提供一種用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器及內(nèi)存[0005]為了解決前述技術(shù)問(wèn)題，本發(fā)明的第一方面提供一種用于PIM-DRAM的雙模式計(jì)算[0007]命令翻譯模塊，用于將主機(jī)命令轉(zhuǎn)換為PIM操作指令；[0008]命令生成模塊，分別連接所述地址轉(zhuǎn)換模塊和所述命令翻譯模塊，用于生成地址映射命令；[0010]多模式狀態(tài)機(jī)，分別連接所述地址轉(zhuǎn)換模塊、所述命令翻譯模塊、所述命令生成模塊和所述數(shù)據(jù)翻譯模塊，用于根據(jù)主機(jī)發(fā)送的不同內(nèi)存命令將所述雙模式計(jì)算內(nèi)存控制器動(dòng)態(tài)切換為內(nèi)存模式或PIM模式；[0011]雙模式計(jì)算訪問(wèn)模塊，分別連接所述命令生成模塊和所述數(shù)據(jù)翻譯模塊，用于根[0012]可選地，在如前所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器中，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為內(nèi)存模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許括全存儲(chǔ)體模式和全存儲(chǔ)體PIM模式；[0014]當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體模式時(shí)，所述5雙模式計(jì)算內(nèi)存控制器允許主機(jī)配置和編程PIM核心的參數(shù)寄存器；[0015]當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體PIM模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許PIM核心訪問(wèn)并將數(shù)據(jù)寫(xiě)入DRAM中的計(jì)算內(nèi)存空間。[0016]可選地，在如前所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器中，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)將靜態(tài)權(quán)重?cái)?shù)據(jù)寫(xiě)入，并將相同的PIM核心程序并行加載到所有處理單元中，從而提高配置效率。[0017]可選地，在如前所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器中，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)通過(guò)單一內(nèi)存事務(wù)同時(shí)訪問(wèn)一個(gè)內(nèi)存通道中的所有DRAMbank以用于并行配置PIM核心，所述雙模式計(jì)算內(nèi)存控制器將主機(jī)發(fā)出的內(nèi)存命令、行地址和列地址廣播到一個(gè)內(nèi)存通道中的所有DRAMbank,從而實(shí)現(xiàn)同步操作。[0018]可選地，在如前所述的用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器中，當(dāng)所述多模式狀態(tài)機(jī)將所述雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體PIM模式時(shí)，所述雙模式計(jì)算內(nèi)存控制器允許主機(jī)通過(guò)單一內(nèi)存事務(wù)同時(shí)訪問(wèn)一個(gè)內(nèi)存通道中的所有DRAMbank以及并行執(zhí)行已編程的PIM核心。[0019]為了解決前述技術(shù)問(wèn)題，本發(fā)明的第二方面提供一種內(nèi)存系統(tǒng)，所述內(nèi)存系統(tǒng)包括至少一個(gè)智能內(nèi)存處理單元，所述智能內(nèi)存處理單元包括3D堆疊的DRAM存儲(chǔ)層與邏輯計(jì)算層，所述智能內(nèi)存處理單元內(nèi)的內(nèi)存劃分為一個(gè)或多個(gè)獨(dú)立內(nèi)存通道，每個(gè)所述內(nèi)存通[0020]所述內(nèi)存控制器采用本發(fā)明第一方面提供的所述雙模式計(jì)算內(nèi)存控制器。[0021]本發(fā)明的積極進(jìn)步效果在于：[0022]1、本發(fā)明通過(guò)動(dòng)態(tài)切換內(nèi)存與計(jì)算模式，實(shí)現(xiàn)高效、低延遲的PIM操作，同時(shí)兼容[0023]2、本發(fā)明在全存儲(chǔ)體PIM模式下所有DRAMbank可同步執(zhí)行已編程的PIM核心，計(jì)算吞吐量大大提升，可適用于大規(guī)模并行計(jì)算場(chǎng)景中。附圖說(shuō)明[0024]參照附圖，本發(fā)明的公開(kāi)內(nèi)容將更加顯然。應(yīng)當(dāng)了解，這些附圖僅僅用于說(shuō)明的目[0025]圖1為本發(fā)明的一種結(jié)構(gòu)示意圖。具體實(shí)施方式[0026]以下通過(guò)特定的具體示例說(shuō)明本發(fā)明的實(shí)施方式，本領(lǐng)域技術(shù)人員可由本說(shuō)明書(shū)所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)與功效。本發(fā)明還可以通過(guò)另外不同的具體實(shí)施方式加以實(shí)施或應(yīng)用，本說(shuō)明書(shū)中的各項(xiàng)細(xì)節(jié)也可以基于不同觀點(diǎn)與應(yīng)用，在沒(méi)有背離本發(fā)明的精神下進(jìn)行各種修飾或改變。[0027]需說(shuō)明的是，在不沖突的情況下，以下實(shí)施例及實(shí)施例中的特征可以相互組合。6“外”等指示方位和位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于敘述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定方位構(gòu)造和操作，不能理解為限制本發(fā)明的具體保護(hù)范圍。有明確具體的限定。[0030]參照?qǐng)D1,本發(fā)明實(shí)施例提供一種用于PIM-DRAM的雙模式計(jì)算內(nèi)存控制器，該雙模式計(jì)算內(nèi)存控制器(Dual-ModeComputeMemoryController,DMCMC)包括地址轉(zhuǎn)換模塊CTM)、命令生成模塊(CommandGenerationModule,CGM)、數(shù)據(jù)翻譯模塊(DataTranslationModule,DTM)、多模式狀態(tài)機(jī)(Multi-ModeStateMachine,MMSTM)以及雙模[0031]地址轉(zhuǎn)換模塊用于處理主機(jī)(HOST)與PIM核心之間的地址映射。命令翻譯模塊用于將主機(jī)命令轉(zhuǎn)換為PIM操作指令。通過(guò)地址轉(zhuǎn)換模塊和命令翻譯模塊支持主機(jī)與PIM核心的協(xié)同操作。[0032]命令生成模塊分別連接地址轉(zhuǎn)換模塊和命令翻譯模塊，命令生成模塊用于生成地址映射命令。通過(guò)地址轉(zhuǎn)換模塊、命令翻譯模塊和命令生成模塊協(xié)同工作負(fù)責(zé)為內(nèi)存模式和PIM模式對(duì)應(yīng)的三條路徑進(jìn)行地址映射。[0034]多模式狀態(tài)機(jī)分別連接地址轉(zhuǎn)換模塊、命令翻譯模塊、命令生成模塊和數(shù)據(jù)翻譯模塊，多模式狀態(tài)機(jī)用于根據(jù)主機(jī)發(fā)送的不同內(nèi)存命令將雙模式計(jì)算內(nèi)存控制器動(dòng)態(tài)切換為內(nèi)存模式或PIM模式。其中，PIM模式即為計(jì)算式切換狀態(tài)機(jī)，以生成相應(yīng)的控制流，最終實(shí)現(xiàn)內(nèi)存模式和PIM模式的無(wú)縫切換。[0035]雙模式計(jì)算訪問(wèn)模塊分別連接命令生成模塊和數(shù)據(jù)翻譯模塊，雙模式計(jì)算訪問(wèn)模塊用于根據(jù)地址映射命令或數(shù)據(jù)路由選擇DRAM的訪問(wèn)空間。在PIM-DRAM架構(gòu)中，DRAM通常器(SMPURegister),雙模式計(jì)算訪問(wèn)模塊是用來(lái)選擇數(shù)據(jù)和命令到達(dá)DRAM的哪個(gè)區(qū)域。[0036]本發(fā)明通過(guò)上述地址轉(zhuǎn)換模塊、命令翻譯模塊、命令生成模塊、數(shù)據(jù)翻譯模塊、多模式狀態(tài)機(jī)以及雙模式計(jì)算訪問(wèn)模塊的協(xié)同操作，實(shí)現(xiàn)了雙模式計(jì)算內(nèi)存控制器在內(nèi)存模式和PIM模式之間進(jìn)行數(shù)據(jù)路由和地址映射。特別是通過(guò)多模式狀態(tài)機(jī)實(shí)現(xiàn)毫秒級(jí)模式切[0037]在一些實(shí)施例中，當(dāng)多模式狀態(tài)機(jī)將雙模式計(jì)算內(nèi)存控制器切換為內(nèi)存模式時(shí)，雙模式計(jì)算內(nèi)存控制器允許主機(jī)通過(guò)標(biāo)準(zhǔn)DDR命令訪問(wèn)并將數(shù)據(jù)寫(xiě)入DRAM主存空間中的單[0038]內(nèi)存模式(MemoryMode)也稱單存儲(chǔ)體(Single-Bank,SB)模式或單bank模式，該7模式的行為類似于傳統(tǒng)DRAM,是一種常規(guī)訪問(wèn)模式，主機(jī)機(jī)通過(guò)標(biāo)準(zhǔn)DDR命令訪問(wèn)單個(gè)DRAMbank。[0039]具體地，主機(jī)芯片使用標(biāo)準(zhǔn)的內(nèi)存命令和地址訪問(wèn)各個(gè)存儲(chǔ)體，每個(gè)內(nèi)存請(qǐng)求針對(duì)特定的存儲(chǔ)體。該模式主要用于傳統(tǒng)的內(nèi)存讀寫(xiě)操作，適用于大多數(shù)常規(guī)應(yīng)用場(chǎng)景。在內(nèi)[0040]在一些實(shí)施例中，PIM模式包括全存儲(chǔ)體模式和全存儲(chǔ)體PIM模式。[0041]PIM模式也稱計(jì)算模式或全bank模式，其包括全存儲(chǔ)體模式(All-BankMode,AB模式)和全存儲(chǔ)體PIM模式(Al1-BankPIMMode,AB-PIM模式),支持所有DRAMbank同步執(zhí)行計(jì)算指令。[0042]當(dāng)多模式狀態(tài)機(jī)將雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體模式時(shí)，雙模式計(jì)算內(nèi)存控制器允許主機(jī)配置和編程PIM核心的參數(shù)寄存器。AB模式主要用于配置和編程PIM核到所有處理單元中，從而提高配置效率。AB模式是一種特殊模式，允務(wù)同時(shí)訪問(wèn)一個(gè)內(nèi)存通道中的所有DRAMbank以用于并行配置PIM核心。在此模式下，主機(jī)發(fā)出的內(nèi)存命令、行地址和列地址會(huì)廣播到一個(gè)內(nèi)存通道中的所有DRAMbank,從而實(shí)現(xiàn)同步操作。[0043]當(dāng)多模式狀態(tài)機(jī)將雙模式計(jì)算內(nèi)存控制器切換為全存儲(chǔ)體PIM模式時(shí)，雙模式計(jì)算內(nèi)存控制器允許PIM核心訪問(wèn)并將數(shù)據(jù)寫(xiě)入DRAM中的計(jì)算內(nèi)存空間。AB-PIM模式是SMPU的核心模式，用于執(zhí)行實(shí)際的PIM(內(nèi)存內(nèi)計(jì)算)核心任務(wù)。在AB-PIM模式下，每次內(nèi)存事務(wù)不僅訪問(wèn)一個(gè)內(nèi)存通道中的所有DRAMbank,還會(huì)并行執(zhí)行已編程的PIM核心。這意味著，在一個(gè)內(nèi)存事務(wù)中，所有DRAMbank中的處理單元會(huì)同時(shí)執(zhí)行相同