提升?模型知識(shí)密度做?效的終端智能?效?模型

就是?壁智能更快速度，更低成本

提供最優(yōu)智能實(shí)現(xiàn)?案?效是?種慣性，?壁是?模型前沿持續(xù)引領(lǐng)者登頂世界級(jí)榜單發(fā)布CPM-Bee多語?百億?模型，登頂ZeroCLUE領(lǐng)跑智能體發(fā)布智能體通?平臺(tái)AgentVerse發(fā)布多智能體協(xié)作開發(fā)框架ChatDev，屢次登頂GitHub

Trending發(fā)布超強(qiáng)AI智能體應(yīng)?框架XAgent，全?超越海外最強(qiáng)框架AutoGPT??超前?局?模型2019年，發(fā)布世界?個(gè)知識(shí)增強(qiáng)?模型ERNIE2020年，發(fā)布國內(nèi)?個(gè)中??模型CPM-12021年，發(fā)布持續(xù)學(xué)習(xí)?模型CPM-22022年，發(fā)布可控?成?模型CPM-3超越GPT-3.5發(fā)布第三代千億參數(shù)多模態(tài)?模型CPM-Cricket，評(píng)分超越GPT-3.5，邏輯能??肩GPT-42023Q32023Q42024Q12023Q220192023Q1公司成?開啟商業(yè)化運(yùn)作領(lǐng)先?向端側(cè)智能2?，發(fā)布旗艦級(jí)端側(cè)模型MiniCPM-2B4?，發(fā)布MiniCPM2.0版本，更新4款?參數(shù)模型2022GPT

3.5發(fā)布GPT

4發(fā)布GPTs公開|第?代?模型技術(shù)第三代?模型技術(shù)第四代?模型技術(shù)第?代?模型技術(shù)|?效，來?對(duì)?模型科學(xué)化的不懈追求2018年以來?證?模型規(guī)模法則（Scaling

Law）OpenAI引領(lǐng)驗(yàn)證，在?數(shù)據(jù)+?算??持下，越?的模型可以產(chǎn)?越強(qiáng)的智能?平，即規(guī)模法則2018年以來?證?模型規(guī)模法則（Scaling

Law）OpenAI引領(lǐng)驗(yàn)證，在?數(shù)據(jù)+?算??持下，越?的模型可以產(chǎn)?越強(qiáng)的智能?平，即規(guī)模法則7？難道AI就是“暴?美學(xué)”追求越?越好？?模型的可持續(xù)發(fā)展之路會(huì)是什么？半導(dǎo)體發(fā)展趨勢(shì)：摩爾定律半導(dǎo)體?業(yè)在摩爾定律指引下，持續(xù)改進(jìn)芯?制造?藝、提升芯?制程，核?是提升芯?電路密度實(shí)現(xiàn)了計(jì)算設(shè)備?型化83.4

kg4.1

kg13.6kg5.2

kg194第?臺(tái)通?通?電?計(jì)算機(jī)195195個(gè)?臺(tái)式機(jī)IBM650PDP-119819827

t2.8

t730

kg智能?機(jī)華為Pura

70

Ultra筆記本電腦197APPLE

II輕薄筆記本電腦Apple

MacBookAir

M1199IBM1.29kg

226

g202

202?效?模型第?性原理?模型數(shù)據(jù)驅(qū)動(dòng)技術(shù)?向?致確定模型架構(gòu)-算法-數(shù)據(jù)技術(shù)?案仍?速迭代需持續(xù)改進(jìn)模型制程，極致提升知識(shí)密度知識(shí)密度參與計(jì)算的?模型發(fā)展趨勢(shì)隨數(shù)據(jù)-算?-算法協(xié)同發(fā)展，模型知識(shí)密度持續(xù)增強(qiáng)：20年GPT-3

175B能?24年2B參數(shù)量即可達(dá)到modelMiniCPM

2.4B為?壁智能團(tuán)隊(duì)

2024年2?發(fā)布語??模型1100過去四年?模型知識(shí)密度平均每8個(gè)?翻?倍知識(shí)密度持續(xù)增強(qiáng)：?模型時(shí)代的“?壁定律”摩爾定律半導(dǎo)體發(fā)展趨勢(shì)芯?電路密度每18個(gè)?提?1倍集成電路上可容納的晶體管數(shù)?，約每隔兩年增加?倍?壁定律?模型發(fā)展趨勢(shì)模型知識(shí)密度每8個(gè)?提?1倍隨數(shù)據(jù)-算?-算法協(xié)同發(fā)展，模型知識(shí)密度持續(xù)增強(qiáng)，2020年GPT-3175B能?到2024年MiniCPM2.4B模型即可達(dá)到，知識(shí)密度提?約86倍！MiniCPM

2.4B為?壁團(tuán)隊(duì)2024年2?發(fā)布語??模型芯?制程帶來終端算?持續(xù)增強(qiáng)，模型制程帶來模型知識(shí)密度持續(xù)增強(qiáng)，兩者交匯揭示端側(cè)智能巨?潛???智能科學(xué)化：推動(dòng)?模型?質(zhì)量發(fā)展科學(xué)化歷程將引領(lǐng)?質(zhì)量發(fā)展，數(shù)據(jù)驅(qū)動(dòng)的?模型技術(shù)?向?致確定，架構(gòu)-算法-數(shù)據(jù)的技術(shù)路線?速迭代，需要圍繞如何極致提升“知識(shí)密度”，探索?模型科學(xué)化建設(shè)?案科學(xué)化引領(lǐng)?質(zhì)量發(fā)展第?架噴?式?機(jī)（1939年）渦輪機(jī)械三元流動(dòng)理論（吳仲華1950年代）基于三元流動(dòng)理論的斯?發(fā)動(dòng)機(jī)（

1960年代）三叉戟客機(jī)A-7EF4K殲8（國產(chǎn)）科學(xué)化發(fā)展引領(lǐng)?質(zhì)量發(fā)展?模型科學(xué)化問題探索智能表示架構(gòu)

Mamba、KAN探索模型成?規(guī)律模型?洞探索?質(zhì)量數(shù)據(jù)合成與多模態(tài)融合機(jī)制GPT4o1314訓(xùn)練損失函數(shù)訓(xùn)練時(shí)間訓(xùn)練損失函數(shù)訓(xùn)練時(shí)間基學(xué)于習(xí)經(jīng)曲驗(yàn)線的基洞的學(xué)于習(xí)模曲型線?10

1023構(gòu)建模型?洞，在?模型?效尋找最優(yōu)數(shù)據(jù)和超參配置并外推??模型，讓模型成?擺脫“煉丹”窘境??智能科學(xué)化-成??效：模型?洞技術(shù)?模型科學(xué)化結(jié)晶?壁模型?洞探尋?模型?效成?規(guī)律，擺脫“煉丹”窘境更?知識(shí)密度帶來更?效模型同等參數(shù)更?性能，同等性能參數(shù)更?在?模型上?效尋找最優(yōu)數(shù)據(jù)和超參配置，并外推??模型通過科學(xué)提升訓(xùn)練?法與數(shù)據(jù)質(zhì)量，2024年2?發(fā)布MiniCPM2.4B以?博?、越級(jí)超越Mistral-7B，Llama2-13B等明星模型極致以?博?+?效低成本|

GPT-4V級(jí)最強(qiáng)端側(cè)多模態(tài)|國際開源明星MiniCPM-V多模態(tài)模型??本與MoE模型最?128K??本模型?性能MoE模型MiniCPM基座模型極致以?博?+極致?效低成本2.4B+1.2B+1.2B極速版，適配更多場(chǎng)景新?代?效低能耗架構(gòu)，2.8倍迅疾響應(yīng)全?GPT-4V級(jí)最強(qiáng)端側(cè)多模態(tài)+OCR

SOTA實(shí)時(shí)視頻、多圖聯(lián)合理解，?次上端9倍像素更清晰，難圖?圖??本精準(zhǔn)識(shí)別成為端側(cè)AI性能標(biāo)尺全球技術(shù)社區(qū)好評(píng)如潮MiniCPM以如此震撼的?尺?，做出了極具深度的?作。來?OpenBMB團(tuán)隊(duì)的極具創(chuàng)意的?作……看來，我們似乎遠(yuǎn)沒有窮盡?語?模型訓(xùn)練的可能性。全?下載146萬+GitHub

Star

15k+2B量級(jí)整體領(lǐng)先，7B量級(jí)多項(xiàng)超越越級(jí)7B,

13B量級(jí)模型圖中模型評(píng)測(cè)均采?UltraEval評(píng)測(cè)框架。選擇常?的評(píng)測(cè)任務(wù)：C-Eval，CMMLU，BBH，MMLU，HumanEval，MBPP，GSM8K，MATH，HellaSwag，BoolQ，PIQA，WinoGrande，ARC-e，ARC-c，從不同的能?維度檢驗(yàn)?zāi)Ｐ偷哪?，最終取所有任務(wù)的均值作為最終結(jié)果進(jìn)?展示。來?「歐洲OpenAI」性能標(biāo)桿之作?壁MiniCPM-2B極致以?博?同等性能參數(shù)更?，同等參數(shù)性能超強(qiáng)極致?效低成本上千次「模型沙盒」實(shí)驗(yàn)，1元=1,700,000

tokens*極致壓縮量化版壓縮75%,性能??損耗多AI

硬件適配AMD,

Intel,?通,MTK等已適配?持主流CPU推理1元=1,700,000

tokens1臺(tái)機(jī)器持續(xù)訓(xùn)練，1張顯卡?效微調(diào)以搭載驍?855芯?的智能?機(jī)為例，成本600元??幣，?共運(yùn)?5年，每秒7.5

tokens，170萬tokens的推理成本僅為1元??幣（GPT-4的推理成本為1??幣4700token）。當(dāng)前?機(jī)推理未曾深?進(jìn)?優(yōu)化，?GPU加速已采?各種采樣加速進(jìn)?優(yōu)化，未來?機(jī)推理成本可進(jìn)?步降低OCR能?SOTA！模型雷達(dá)圖顯示MiniCPM-Llama3-V

2.5綜合能??平全?優(yōu)秀8B量級(jí)，超過多模態(tài)巨?霸

GPT-4V、Gemini

Pro等最強(qiáng)端側(cè)多模態(tài)綜合性能MiniCPM-Llama3-V

2.5OCRBenchSOTA，越級(jí)超越GPT-4o、GPT-4V、GeminiPro等標(biāo)桿模型幻覺能?超GPT-4V

(Object

HalBench),現(xiàn)實(shí)世界空間理解能?超GPT-4V,

Gemini

Pro

(RealWorldQA)8B9倍像素更清晰，?圖難圖??本精準(zhǔn)識(shí)別?壁?研?清圖像解碼技術(shù)突破傳統(tǒng)20w像素?圖困境從448x448分辨率，?躍?1344*1344分辨率?清解析，甚?可達(dá)到1:9極限寬??（448

*

4032）端側(cè)?效運(yùn)??次端側(cè)系統(tǒng)級(jí)多模態(tài)加速圖像編碼加速快 量化后僅150

倍

8B

顯存消費(fèi)級(jí)顯卡輕松推理 端側(cè)?效運(yùn)?4070

6-8

Tokens/s實(shí)時(shí)視頻理解實(shí)時(shí)看?與理解真實(shí)世界開啟具身智能等AGI?限可能幫我看看這里是什么樣子？瞧，她正要畫些什么？太長(zhǎng)不看，這段視頻講了什么？北京的早高峰是什么體驗(yàn)？流暢的多圖聯(lián)合理解多張圖????處理?直識(shí)圖?直爽超聰明的復(fù)雜推理能?難圖梗圖不在話下MiniCPM-V

2.6微表情捕捉分析?類?理20萬像素?圖180萬任意?寬??清圖像1344×1344448×448180萬1:9極限寬???清圖?，?效編碼，任意寬??圖像?損識(shí)別從448x448像素，到180萬?清?圖，甚?1:9極限寬??（448

*

4032）?創(chuàng)：180萬像素?清圖像解碼技術(shù)?清圖像?效編碼背后的獨(dú)家技術(shù)：LLaVA-UHD模塊化視覺編碼將原始分辨率圖像劃分為可變??切??需像素填充或圖像變形實(shí)現(xiàn)對(duì)原始分辨率的完全適應(yīng)性視覺壓縮模塊使?共享感知器重采樣層壓縮圖像切?的視覺tokens不管分辨率多少token數(shù)量都可負(fù)擔(dān)，計(jì)算量更低?持任意寬??圖像編碼空間修飾?法使??然語?符號(hào)的簡(jiǎn)單模式有效告知圖像切?的相對(duì)位置模塊化視覺編碼視覺壓縮模塊空間修飾?法統(tǒng)??清視覺架構(gòu)同時(shí)?撐單圖、多圖、視頻理解能?，實(shí)現(xiàn)?效能?遷移和知識(shí)共享同類模型2560-10k

tokensMiniCPM-Llama3-V

2.5960

tokensMiniCPM-V

2.6640

tokens節(jié)省75%相?同類模型編碼180萬像素圖?視覺token數(shù)量單圖場(chǎng)景180萬任意?寬??清圖像多圖場(chǎng)景視頻場(chǎng)景統(tǒng)??清視覺框架180萬任意?寬??清編碼?縫擴(kuò)展??清變?寬?多圖、視頻多個(gè)場(chǎng)景單?模型滿?不同視覺理解場(chǎng)景能?遷移…統(tǒng)?形式第1張圖

第2張圖第n張圖知識(shí)共享多語?：跨模態(tài)跨語?泛化技術(shù)基礎(chǔ)能?跨語?泛化基于基座模型中英雙語能?僅通過英?通?域圖?對(duì)數(shù)據(jù)進(jìn)?預(yù)訓(xùn)練實(shí)現(xiàn)多模態(tài)基礎(chǔ)能?從英?到中?的跨語?泛化中?多模態(tài)能??效激發(fā)少量?質(zhì)量中?指令微調(diào)數(shù)據(jù)?效激發(fā)中?多模態(tài)基礎(chǔ)能?論?發(fā)表于ICLR

2024解決中?領(lǐng)域缺乏?質(zhì)量、?規(guī)模多模態(tài)數(shù)據(jù)的挑戰(zhàn)VisCPM：僅通過英?多模態(tài)數(shù)據(jù)預(yù)訓(xùn)練，泛化實(shí)現(xiàn)優(yōu)秀中?多模態(tài)能?中?圖?對(duì)數(shù)據(jù)質(zhì)量分布7100+存量?機(jī)終端算?總規(guī)模2022年全國數(shù)據(jù)中?算?12+倍阿?云張北超級(jí)計(jì)算中?147+個(gè)英偉達(dá)H100芯?近100萬?注：1）算?規(guī)模統(tǒng)?這算為INT8算?